Ежемесячный снимок DR домена: настройка для вашего BI-инструмента

Выбор того, на какие вопросы может отвечать показатель DR домена

Domain DR — это скрытый счетчик. Простой. Он растет, когда больше уникальных сайтов ссылается на домен, а логарифмическая шкала делает каждую новую точку сложнее предыдущей. Оставьте это предложение в примечаниях к графику.

Хороший виджет отвечает на один вопрос о тренде для набора доменов: догоняем ли мы трех конкурентов, растут ли партнеры, повлияла ли кампания на что-либо. Плохой виджет смешивает трафик или выручку и провоцирует причинно-следственные выводы, которые данные не могут подтвердить.

Сохраняйте также сырой счетчик ссылающихся доменов. Если оценка изменится на один пункт, вы сможете увидеть, было ли это 40 новыми доменами или 4 000, и это подскажет, стоит ли беспокоиться.

Что таблица должна и не должна содержать

Таблица снимков — это память. Она должна содержать то, что нужно для объяснения графика через год, и ничего, что провоцирует неверные объяснения. Начните с минимального набора столбцов, отвечающего на вопрос о тренде. Добавляйте новый только тогда, когда на совещании возникнет в этом необходимость.

Некоторые столбцы заслуживают своего места с первого дня. Меньше, чем вы думаете. Домен, оценка, счетчик ссылающихся доменов, дата выгрузки и имя источника покрывают большинство вопросов. Столбец с трафиком кажется полезным, но он берется из другого источника и за другую дату, поэтому ему место в другой таблице.

Исключите все, что можно пересчитать на основе остальных данных. Изменение по сравнению с предыдущим месяцем — это вычитание, поэтому храните его во представлении (view), а не как четвертую копию одного и того же факта.

Запишите список столбцов и в примечания к графику. Читатель, открывший график через год, должен видеть, откуда взялось каждое число и какая выгрузка его заполнила.

Ключи, предотвращающие дублирование строк

Первичный ключ по домену и дате выгрузки делает больше, чем просто блокирует дубликаты. Он также указывает, из какой выгрузки взята строка, что важно, если повторный запуск произошел после таймаута. Две строки для одного домена за один месяц должны быть невозможны, и схема должна это гарантировать.

Имена источников, по которым можно фильтровать

Записывайте источник как фиксированную метку, например rankwiser_bulk_dr, а не как произвольное текстовое примечание. Фильтр по этой метке отделяет эту оценку от любых других оценок, которые вы загрузите позже. Держите список меток коротким и запишите его рядом с таблицей.

Ограничения, которые стоит добавить с первого дня

Ведите вторую таблицу неудачных выгрузок. Строка с HTTP-статусом, временем и телом ответа лучше, чем тихий разрыв в графике. Подавайте алерт на все, кроме ok true.

Закрепите список доменов в системе контроля версий. Короткие diff-изменения помогают. Когда кто-то добавляет конкурента, diff показывает, кто и когда это сделал, и в график добавляется примечание. В противном случае линия этого конкурента появляется из ниоткуда, и люди спрашивают, почему она началась в марте.

Заранее планируйте смену источника. Если позже вы добавите данные из Ahrefs или Moz, дайте им собственное значение source в таблице, как обсуждалось при сравнении Ahrefs и Majestic.

Быстрая проверка работоспособности для каждого ежемесячного запуска

Прежде чем доверять графику, проверьте задачу, которая его заполнила. Затем посмотрите на график. Здоровый запуск возвращает ok со значением true, одну строку для каждого запрошенного домена и баланс, уменьшившийся на ожидаемую сумму. Все остальное — причина прочитать ответ, а не рисовать линию.

Посчитайте строки, которые изменились. Если большая часть сдвинулась более чем на три пункта, проверьте список доменов, прежде чем винить индекс. Внезапный всплеск изменений обычно означает, что изменился список, а не веб.

Количество строк, совпадающее со списком, — это минимум. Меньшее количество строк означает, что один из доменов был потерян где-то между файлом и таблицей. Найдите его до следующего запуска.

Что говорит о вас месяц без изменений

Месяц с почти нулевым количеством изменений — не доказательство стабильности. Индекс обновляется примерно раз в месяц, поэтому плоская строка может просто еще не быть обновлена. Читайте тихий месяц рядом с датой выгрузки и помните, что график все еще следует календарю.

Кому посылать оповещение

Оповещение, отправленное на общую почту, игнорируется в течение месяца. Назначьте одного человека на эту задачу и второго на время его отсутствия. Оповещение должно содержать название списка доменов, HTTP-статус и время, чтобы читателю не пришлось открывать скрипт для принятия решения.

Тестирование изменений перед запуском в продакшн

Если вы меняете список или расписание, запустите старую и новую версии параллельно в течение одного цикла. Совпадающие строки покажут, что изменение ничего не сломало. Разница, которую вы не можете объяснить, должна остановить rollout, каким бы маленьким она ни казалась.

Примечание о частоте и ритме

Ничто здесь не требует скорости. Ежемесячный запуск — это несколько запросов, даже для больших списков, и каждый ответ приходит в виде одного JSON-документа. Если ваш планировщик повторяет запрос при ошибке, сделайте повторный вызов идемпотентным, что уже обеспечивает первичный ключ по домену и дате выгрузки.

Сдерживайте желание запускать задачу ежедневно только потому, что это дешево. Не делайте этого. Наш индекс обновляется примерно раз в месяц. Ежедневные выгрузки возвращают одни и те же строки в течение недель, и ваш график заполняется плоскими линиями, которые выглядят как стабильность, но отражают только календарь обхода. Прочитайте рецепты альтернативы Majestic для других выгрузок, которые стоит запланировать, таких как якоря и пересечения.

Владение задачей после запуска

Ежемесячная задача переживет человека, который ее создал. Через шесть месяцев новый сотрудник откроет запись в cron и спросит, почему список хранится в файле. Напишите короткое примечание. Поместите его в начало скрипта вместе с целью, расписанием и стоимостью в кредитах. Это примечание дешевле, чем совещание по его поводу.

Пересматривайте список доменов каждый квартал. Удаляйте то, что больше не важно, и добавляйте конкурентов, от выбора которых действительно зависит решение. Каждое изменение вносите в систему контроля версий с датой, чтобы график мог показать изменение, а не скрывать его.

Бюджет — тоже часть обзора. Один кредит в месяц. Стоимость остается минимальной. Проверяйте баланс в тот же день, что и график, и записывайте дату следующего пополнения в то же примечание.

Вопросы, которые задают о ежемесячной задаче

Четыре вопроса возникают, когда задача работает несколько месяцев. Каждый ответ — это правило, которое можно записать в инструкцию по настройке.

Почему не выгружать ежедневно, если запросы дешевые?

Данные меняются по ежемесячному календарю, поэтому ежедневная выгрузка повторяет одни и те же строки в течение недель. Стоимость мала, но график заполняется плоскими линиями, которые выглядят как стабильность. Графику, который идет на совет директоров, также нужна сноска руководство по запуску для совета директоров.

Что если конкурент выпадет из списка?

Сохраните его историю, отметьте домен как удаленный и прекратите его выгрузку. Пропавшая линия выглядит как разрыв данных, поэтому напишите причину рядом с графиком.

Могу ли я запускать задачу в другой день?

Да, если вы выберете один день и будете его придерживаться. Суть в стабильном ритме. Сдвиг даты на несколько дней каждый месяц затрудняет чтение тренда.

Что делать с ошибкой 402 посередине месяца?

Остановите задачу, пополните баланс на странице аккаунта с помощью USDT и перезапустите только неудачный запрос. Сохраните ответ об ошибке в своем журнале, чтобы разрыв в графике имел письменное объяснение.