Щомісячний знімок DR домену: налаштування для вашого BI-інструменту
Покрокове налаштування, яке перетворює один API-запит на надійний часовий ряд — від отримання ключа до побудови графіка.
Дослідницька команда RankWiser ·
Послідовність налаштування
1
Створіть ключ
Увійдіть через Google за адресою /auth/google.php. Ваш акаунт відкривається з балансом $100, що становить 1 000 000 кредитів. Скопіюйте ключ, який починається з sk_.
2
Створіть таблицю
Колонки: domain, dr, ref_domains, pulled_on, source. Первинний ключ за domain та pulled_on, щоб повторний запуск не створював дублікатів за місяць.
3
Заплануйте один запит
Запускайте його 5-го числа кожного місяця. Наш індекс оновлюється приблизно раз на місяць, тому частіші запуски додадуть рядки, а не нову інформацію.
4
Парсуйте та вставте дані
Прочитайте JSON, переконайтеся, що ok має значення true, і вставте кожен рядок з датою отримання даних.
5
Позначте зміни
Обчисліть місячні дельта-значення та позначте все, що перевищує 3 бали. Менші зміни зазвичай є шумом.
6
Побудуйте графік
Один рядок на домен, ваш домен — яскравим кольором, домен конкурента — сірим.
Єдиний запит
Запис cron, запуск 5-го числа о 06:00. Вартість одного запуску — один кредит.
Вибір того, на що може відповідати значення DR домену
Domain DR — це прихований лічильник. Простий. Він зростає, коли більше унікальних сайтів посилаються на домен, а логарифмічна шкала робить кожну наступну точку довшим шляхом. Залиште це речення в примітках до графіка.
Гардаджик відповідає на одне питання про тренд для набору доменів: чи доганяємо ми трьох конкурентів, чи ростуть партнери, чи вплинула кампанія на щось. Поганий віджет змішує трафік або дохід і спонукає до причинно-наслідкових висновків, які дані не підтверджують.
Зберігайте також сирове значення кількості посилальних доменів. Якщо рахунок зміниться на одиницю, ви зможете побачити, чи було це 40 новими доменами чи 4 000, і зрозуміти, чи варто хвилюватися.
Що таблиця повинна і не повинна містити
Таблиця знімків — це пам'ять. Вона повинна містити те, що потрібно для пояснення графіка через рік, і нічого, що спонукає до хибних пояснень. Почніть з найменшого набору колонок, який відповідає на питання про тренд. Додавайте нові лише тоді, коли на зустрічі виникне запит.
Деякі колонки виправдовують своє існування з першого дня. Менше, ніж ви думаєте. Домен, показник, кількість посилальних доменів, дата отримання даних та назва джерела покривають більшість питань. Колонка трафіку здається корисною, але вона походить з іншого джерела та іншої дати, тому має належати до іншої таблиці.
Виключайте все, що можна перерахувати на основі інших даних. Зміна місяць до місяця — це віднімання, тому зберігайте її у вигляді представлення (view), а не як четверту копію того ж факту.
Запишіть список колонок також у примітки до графіка. Користувач, який відкриє графік через рік, повинен бачити, звідки взялася кожна цифра та який саме збір даних її заповнив.
Ключі, що запобігають дублюванню рядків
Первинний ключ за domain та pull date не лише блокує дублікати. Він також показує, з якого запуску походить рядок, що важливо, якщо повторний запуск відбувається після таймауту. Два рядки для одного домену за один місяць мають бути неможливими, і схема має це гарантувати.
Назви джерел, за якими можна фільтрувати
Записуйте джерело як фіксовану мітку, наприклад rankwiser_bulk_dr, а не як текст вільної форми. Фільтр за цією міткою відокремлює цей показник від будь-яких інших показників, які ви завантажите пізніше. Тримайте список міток коротким і запишіть його поруч із таблицею.
Вартість запуску для трьох розмірів списків
Розраховано на основі цін на кредити вище. Приклади, а не вимірювання.
Відстежувані домени
Запитів на місяць
Кредити
Долари
50
1
1
$0.0001
500
1
1
$0.0001
5,000
3
3
$0.0003
Коли запуск завершується невдало
401 означає відсутній або неправильний ключ. 402 означає, що кредити вичерпалися, тому поповніть баланс через USDT на сторінці акаунту. Налаштуйте сповіщення про будь-яку відповідь, де ok не дорівнює true, а не просто записуйте нулі в графік.
Протестуйте конвеєр на трьох доменах
1
Оберіть три відомі домени
Використовуйте один сайт, який вам добре відомий, один домен конкурента та один невеликий сайт. Трьох достатньо, щоб показати структуру відповіді.
2
Надішліть тестовий запит
Викличте bulk_dr з трьома доменами та збережіть сирату відповідь, а не лише відпарсені рядки.
3
Перевірте ok та баланс
Переконайтеся, що ok має значення true, та прочитайте _credits. Запит має коштувати один кредит, а залишок має зменшитися на цю суму.
4
Порівняйте один рядок вручну
Перевірте один із доменів за допомогою безкоштовного пошуку на цьому сайті. Якщо показник збігається з тим, що зберіг ваш парсер, парсер є коректним.
Захисні механізми, варто додати з першого дня
Ведіть другу таблицю невдалих запусків. Рядок із HTTP-статусом, часом та тілом відповіді кращий за тишу в графіку. Налаштуйте сповіщення на будь-який випадок, крім ok true.
Фіксуйте список доменів у системі контролю версій. Короткі diff-зміни допомагають. Коли хтось додає конкурента, diff показує, хто і коли це зробив, і графік отримує примітку. Інакше лінія для цього конкурента з'явиться з нізвідки, і люди запитають, чому вона почалася в березні.
Плануйте зміну джерела. Якщо пізніше ви додасте дані з Ahrefs або Moz, надайте їм власне значення source в таблиці, як обговорювалося при порівнянні Ahrefs та Majestic.
Швидка перевірка стану для кожного щомісячного запуску
Перш ніж довіряти графіку, перевірте завдання, яке його заповнило. Потім подивіться на графік. Здоровий запуск повертає ok = true, один рядок для кожного запитуваного домену та баланс, який зменшився на очікувану суму. Будь-що інше — причина прочитати відповідь, а не малювати лінію всупереч.
Підрахуйте рядки, які змістилися. Якщо велика частка зрушилася на три бали або більше, перевірте список доменів, перш ніж звинувачувати індекс. Раптова хвиля змін зазвичай означає, що змінився список, а не веб.
Кількість рядків, що відповідає списку, — це мінімум. Менша кількість рядків означає, що домен був втрачений десь між файлом і таблицею. Знайдіть його до наступного запуску.
Що говорить про вас місяць без змін
Місяць майже без змін — не доказ стабільності. Індекс оновлюється приблизно раз на місяць, тому порожній рядок може просто ще не бути оновлений. Читайте тихий місяць разом із датою збору даних і пам'ятайте, що графік все одно слідує за календарем.
Хто отримує сповіщення
Сповіщення, що надходить у спільну поштову скриньку, ігнорують протягом місяця. Призначте одну особу відповідальною за це завдання та другу — на період відпустки першої. Сповіщення має містити назву списку доменів, HTTP-статус та час, щоб читач міг діяти, не відкриваючи скрипт.
Тестування змін перед впровадженням
Якщо ви змінюєте список або розклад, запустіть стару та нову версії паралельно протягом одного циклу. Збіжні рядки покажуть, що зміна нічого не змінила. Різниця, яку ви не можете пояснити, має зупинити впровадження, навіть якщо вона здається незначною.
Примітка про частоту та ритм
Нічого тут не вимагає швидкості. Щомісячний запуск — це кілька запитів, навіть для великих списків, і кожна відповідь надходить як один JSON-документ. Якщо ваш планувальник повторює спроби при помилці, зробіть повторний запуск ідемпотентним, що вже забезпечується первинним ключем за domain та pull date.
Чиніть спокусі запускати завдання щодня лише тому, що це дешево. Не робіть цього. Наш індекс оновлюється приблизно раз на місяць. Щоденні збори даних повертають ті самі рядки тижнями, і ваш графік заповнюється плоскими лініями, які виглядають як стабільність, але відображають лише календар краулінгу. Прочитайте рецепти альтернативи Majestic для інших запитів, які варто запланувати, таких як анкори та перетини.
Керування завданням після запуску
Щомісячне завдання переживе людину, яка його створила. Через пів року хтось новий відкриє запис cron і запитає, чому список зберігається у файлі. Напишіть коротку примітку. Розмістіть її на початку скрипта з метою, розкладом та вартістю в кредитах. Ця примітка дешевша за зустріч, присвячену їй.
Оглядяйте список доменів щокварталу. Видаляйте те, що більше не має значення, і додавайте конкурентів, від яких дійсно залежать рішення. Кожна зміна фіксується в системі контролю версій з датою, щоб графік показував зміну, а не приховував її.
Бюджет також є частиною огляду. Один кредит на місяць. Вартість залишається мінімальною. Перевіряйте баланс того ж дня, коли будуєте графік, і записуйте дату наступного поповнення в ту ж примітку.
Питання, які ставлять про щомісячне завдання
Чотири питання виникають, коли завдання працює кілька місяців. Кожна відповідь — це правило, яке можна записати в примітку до налаштування.
Чому не збирати дані щодня, якщо запити дешеві?
Дані змінюються за місячним календарем, тому щоденний збір даних повторює ті самі рядки тижнями. Вартість мала, але графік заповнюється плоскими лініями, які виглядають як стабільність. Графік, що йде на раду директорів, також потребує примітки board runbook.
Що, якщо конкурент випаде зі списку?
Збережіть його історію, позначте домен як видалений і припиніть його збір. Відсутня лінія виглядає як прогалина в даних, тому напишіть причину поруч із графіком.
Чи можу я запускати завдання в інший день?
Так, якщо ви оберете один день і триматиметеся його. Суть — у стабільному ритмі. Зміщення дати на кілька днів щомісяця ускладнює читання тренду.
Що робити з 402 посередині місяця?
Зупиніть завдання, поповніть баланс через сторінку акаунту за допомогою USDT та перезапустіть лише невдалий запит. Збережіть відповідь про помилку у своєму журналі, щоб прогалина в графіку мала письмове пояснення.
