Instantané du DR du domaine : une configuration mensuelle pour votre outil BI
Un guide étape par étape qui transforme un appel API en une série temporelle fiable, de la première clé jusqu'au graphique.
Équipe de recherche RankWiser ·
Configuration, dans l'ordre
1
Créez la clé
Connectez-vous avec Google sur /auth/google.php. Votre compte s'ouvre avec $100, soit 1 000 000 de crédits. Copiez la clé qui commence par sk_.
2
Créez la table
Colonnes : domain, dr, ref_domains, pulled_on, source. Clé primaire sur domain et pulled_on, afin qu'un relance ne double pas un mois.
3
Planifiez un seul appel
Exécutez-le le 5 de chaque mois. Notre index se rafraîchit environ une fois par mois, donc exécuter plus souvent ajoute des lignes, pas de l'information.
4
Analysez et insérez
Lisez le JSON, vérifiez que ok est vrai, et insérez chaque ligne avec la date d'extraction.
5
Marquez les changements
Calculez les deltas mois sur mois et marquez tout ce qui dépasse 3 points. Les variations plus faibles sont principalement du bruit.
6
Tracez-le
Une ligne par domaine, votre propre domaine en couleur forte, une bande concurrente en gris.
La seule requête
Entrée Cron, à exécuter le 5 à 06:00. Le coût par exécution est d'un seul crédit.
Choisir à quoi un score DR de domaine est autorisé à répondre
Le DR de domaine est un compte déguisé. Simple. Il augmente lorsque davantage de sites distincts font un lien vers un domaine, et l'échelle logarithmique rend chaque nouveau point plus difficile à atteindre que le précédent. Gardez cette phrase dans les notes du graphique.
Un bon widget répond à une seule question de tendance par ensemble de domaines : sommes-nous en train de rattraper les trois concurrents, les partenaires se développent-ils, une campagne a-t-elle eu un impact ? Un mauvais widget mélange le trafic ou le chiffre d'affaires et invite à une histoire causale que les données ne peuvent pas porter.
Stockez également le nombre brut de domaines référents. Si le score change d'un point, vous pouvez voir si cela correspond à 40 nouveaux domaines ou à 4 000, et cela vous indique si vous devez vous inquiéter.
Ce que la table doit et ne doit pas contenir
Une table d'instantané est une mémoire. Elle doit contenir ce dont vous avez besoin pour expliquer un graphique dans un an, et rien qui invite à une mauvaise explication. Commencez par le plus petit ensemble de colonnes qui répond à la question de tendance. Ajoutez-en une seule lorsqu'une réunion en fait la demande.
Certaines colonnes méritent leur place dès le premier jour. Moins que vous ne le pensez. Le domaine, le score, le nombre de domaines référents, la date d'extraction et le nom de la source couvrent la plupart des questions. Une colonne de trafic semble utile, mais elle provient d'une autre source et d'une autre date, donc elle appartient à une autre table.
Excluez tout ce que vous pouvez recalculer à partir des autres. Un changement mois sur mois est une soustraction, donc conservez-le dans une vue plutôt que comme une quatrième copie du même fait.
Écrivez également la liste des colonnes dans les notes du graphique. Un lecteur qui ouvre le graphique dans un an devrait voir d'où vient chaque nombre, et quelle extraction l'a alimenté.
Les clés qui empêchent les doublons
La clé primaire sur domain et pull date fait plus que bloquer les doublons. Elle indique également de quelle extraction provient une ligne, ce qui est important lorsqu'une relance survient après un timeout. Deux lignes pour le même domaine en un mois devraient être impossibles, et le schéma doit l'indiquer.
Noms de source sur lesquels vous pouvez filtrer
Écrivez la source comme une étiquette fixe, telle que rankwiser_bulk_dr, et non comme une note en texte libre. Un filtre sur cette étiquette maintient ce score à l'écart de tout autre score que vous chargerez plus tard. Gardez la liste des étiquettes courte et notez-la à côté de la table.
Coûts d'exécution, calculés pour trois tailles de liste
Calculé à partir des prix des crédits ci-dessus. Exemples, pas des mesures.
Domaines suivis
Appels par mois
Crédits
Dollars
50
1
1
$0.0001
500
1
1
$0.0001
5,000
3
3
$0.0003
Lorsque l'exécution échoue
Un 401 signifie une clé manquante ou incorrecte. Un 402 signifie que les crédits sont épuisés, donc rechargez avec USDT depuis la page de compte. Alerte sur toute réponse où ok n'est pas vrai, plutôt que d'écrire des zéros dans le graphique.
Testez le pipeline sur trois domaines en premier
1
Choisissez trois domaines connus
Utilisez un site que vous connaissez bien, un concurrent et un petit site. Trois suffisent pour montrer la forme de la réponse.
2
Envoyez la requête de test
Appelez bulk_dr avec les trois domaines et sauvegardez la réponse brute, pas seulement les lignes analysées.
3
Vérifiez ok et le solde
Confirmez que ok est vrai et lisez _credits. L'appel devrait coûter un crédit, et le solde restant devrait diminuer de ce montant.
4
Comparez une ligne à la main
Recherchez l'un des domaines avec la recherche gratuite sur ce site. Si le score correspond à ce que votre analyseur a stocké, l'analyseur est fiable.
Les garde-fous utiles à ajouter dès le premier jour
Conservez une seconde table des extractions qui ont échoué. Une ligne avec le statut HTTP, l'heure et le corps de la réponse vaut mieux qu'un trou silencieux dans le graphique. Alerte sur tout sauf ok vrai.
Épinglez la liste des domaines dans le contrôle de version. Les diffs courts aident. Lorsqu'une personne ajoute un concurrent, le diff montre qui l'a ajouté et quand, et le graphique reçoit une note. Sinon, la ligne de ce concurrent apparaît de nulle part et les gens se demandent pourquoi elle a commencé en mars.
Prévoyez également le changement de source. Si vous ajoutez plus tard des chiffres Ahrefs ou Moz, donnez-leurs leur propre valeur source dans la table, comme discuté lorsque nous avons comparé Ahrefs et Majestic.
Un contrôle rapide de santé pour chaque exécution mensuelle
Avant de faire confiance à un graphique, vérifiez la tâche qui l'a alimenté. Ensuite, regardez le graphique. Une exécution saine retourne ok défini à true, une ligne pour chaque domaine demandé, et un solde qui a diminué du montant attendu. Tout autre cas est une raison de lire la réponse, plutôt que de tracer la ligne de toute façon.
Comptez les lignes qui ont bougé. Si une grande part a changé de trois points ou plus, vérifiez la liste des domaines avant de blâmer l'index. Une inondation soudaine de mouvements signifie généralement que la liste a changé, pas le web.
Un nombre de lignes qui correspond à la liste est le minimum. Moins de lignes signifie qu'un domaine a été supprimé quelque part entre le fichier et la table. Trouvez-le avant la prochaine exécution.
Ce qu'un mois plat vous dit
Un mois avec presque aucun mouvement n'est pas la preuve de la stabilité. L'index se rafraîchit environ une fois par mois, donc une ligne plate peut simplement n'avoir pas été mise à jour encore. Lisez un mois calme à côté de sa date d'extraction, et rappelez-vous que le graphique suit toujours le calendrier.
Qui reçoit l'alerte
Une alerte envoyée à une boîte mail partagée sera ignorée en un mois. Nommez une personne pour le travail et une seconde pour les semaines où cette personne est absente. L'alerte doit nommer la liste des domaines, le statut HTTP et l'heure, afin que le lecteur n'ait pas à ouvrir le script pour agir.
Tester un changement avant sa mise en production
Si vous modifiez la liste ou la planification, exécutez les anciennes et nouvelles versions côte à côte pour un cycle. Des lignes correspondantes montrent que le changement n'a rien fait d'autre. Une différence que vous ne pouvez pas expliquer devrait arrêter le déploiement, aussi petite qu'elle semble.
Une note sur le rythme et la régularité
Rien ici n'a besoin de vitesse. Une exécution mensuelle est un petit nombre de requêtes, même pour de grandes listes, et chaque réponse arrive sous forme d'un seul document JSON. Si votre planificateur réessaie en cas d'échec, rendez la réessaie idempotente, ce que la clé primaire sur domain et pull date vous donne déjà.
Résistez à l'envie d'exécuter la tâche quotidiennement juste parce qu'elle est bon marché. Ne le faites pas. Notre index se rafraîchit environ une fois par mois. Les extractions quotidiennes retournent les mêmes lignes pendant des semaines, et votre graphique se remplit de lignes plates qui ressemblent à de la stabilité mais ne reflètent que le calendrier de crawl. Lisez les recettes alternatives Majestic pour d'autres extractions worth scheduling, comme les ancres et les intersections.
Gérer la tâche après le lancement
Une tâche mensuelle survit à la personne qui l'a construite. Six mois plus tard, quelqu'un de nouveau ouvre l'entrée cron et se demande pourquoi la liste vit dans un fichier. Écrivez une courte note. Placez-la en haut du script avec l'objectif, la planification et le coût en crédits. Cette note est moins chère qu'une réunion à ce sujet.
Révisez la liste des domaines chaque trimestre. Supprimez ce qui n'a plus d'importance, et ajoutez les concurrents sur lesquels une décision repose réellement. Chaque changement est enregistré dans le contrôle de version avec une date, afin que le graphique puisse montrer le changement au lieu de le cacher.
Le budget fait également partie de la révision. Un crédit par mois. Le coût reste minime. Vérifiez le solide le même jour que le graphique, et écrivez la date du prochain rechargement dans la même note.
Questions que les gens posent sur la tâche mensuelle
Quatre questions se posent une fois que la tâche tourne depuis quelques mois. Chaque réponse est une règle que vous pouvez écrire dans la note de configuration.
Pourquoi ne pas extraire quotidiennement, puisque les appels sont bon marché ?
Les données changent selon un calendrier mensuel, donc une extraction quotidienne répète les mêmes lignes pendant des semaines. Le coût est faible, mais le graphique se remplit de lignes plates qui ressemblent à de la stabilité. Un graphique destiné à un conseil d'administration a également besoin de la note de bas de page board runbook.
Que faire si un concurrent disparaît de la liste ?
Conservez son historique, marquez le domaine comme supprimé et arrêtez de l'extraire. Une ligne manquante ressemble à un trou de données, donc écrivez la raison à côté du graphique.
Puis-je exécuter la tâche un autre jour ?
Oui, si vous choisissez un jour et le gardez. L'objectif est un rythme régulier. Déplacer la date de quelques jours chaque mois rend la tendance plus difficile à lire.
Que faire en cas de 402 en milieu de mois ?
Arrêtez la tâche, rechargez depuis la page de compte avec USDT, et relancez uniquement la requête échouée. Conservez la réponse échouée dans votre journal, afin que le trou dans le graphique ait une explication écrite.
