Domain-DR-Snapshot: Ein monatliches Setup für Ihr BI-Tool
Eine Schritt-für-Schritt-Einrichtung, die einen API-Aufruf in eine vertrauenswürdige Zeitreihe verwandelt – vom ersten Key bis zum Diagramm.
RankWiser-Researchteam ·
Einrichtung, der Reihe nach
1
Erstellen Sie den Key
Melden Sie sich bei /auth/google.php mit Google an. Ihr Konto startet mit $100, was 1.000.000 Credits entspricht. Kopieren Sie den Key, der mit sk_ beginnt.
2
Erstellen Sie die Tabelle
Spalten: domain, dr, ref_domains, pulled_on, source. Primärschlüssel aus domain und pulled_on, damit ein erneuter Lauf denselben Monat nicht doppelt erfasst.
3
Planen Sie einen Aufruf
Führen Sie es am 5. jedes Monats aus. Unser Index wird etwa monatlich aktualisiert, daher führen häufigere Aufrufe zu zusätzlichen Zeilen, nicht zu zusätzlichen Informationen.
4
Parcen und einfügen
Lesen Sie das JSON, prüfen Sie, ob ok true ist, und fügen Sie jede Zeile mit dem Abrufdatum ein.
5
Änderungen kennzeichnen
Berechnen Sie die Delta-Werte von Monat zu Monat und markieren Sie alles, was mehr als 3 Punkte beträgt. Kleinere Schwankungen sind meist Rauschen.
6
Visualisieren Sie es
Eine Zeile pro Domain, Ihre eigene Domain in einer kräftigen Farbe, eine Rivalen-Domain in Grau.
Die eine Anfrage
Cron-Eintrag, ausgeführt am 5. um 06:00 Uhr. Die Kosten pro Lauf betragen einen einzelnen Credit.
Auswahl, wofür eine Domain-DR-Zahl verwendet werden darf
Domain DR ist eine versteckte Zählung. Einfach. Sie steigt, wenn mehr verschiedene Sites auf eine Domain verlinken, und die Log-Skala macht jeden neuen Punkt schwieriger als den vorherigen. Behalten Sie diesen Satz in den Diagrammanmerkungen.
Ein gutes Diagramm beantwortet eine Trendfrage pro Domain-Set: Schließen wir auf die drei Rivalen, wachsen die Partner, hat eine Kampagne etwas bewegt? Ein schlechtes Diagramm mischt Traffic oder Umsatz ein und lädt zu Kausalgeschichten ein, die die Daten nicht tragen können.
Speichern Sie auch die rohe Anzahl der verweisenden Domains. Wenn sich der Score um einen Punkt ändert, können Sie sehen, ob dies 40 neue Domains oder 4.000 waren, und das sagt Ihnen, ob Sie sich Sorgen machen müssen.
Was die Tabelle enthalten sollte und was nicht
Eine Snapshot-Tabelle ist ein Gedächtnis. Sie sollte das enthalten, was Sie brauchen, um ein Diagramm in einem Jahr zu erklären, und nichts, das eine falsche Erklärung nahelegt. Beginnen Sie mit dem kleinstmöglichen Satz an Spalten, der die Trendfrage beantwortet. Fügen Sie nur eine hinzu, wenn in einem Meeting danach gefragt wird.
Einige Spalten verdienen ihren Platz ab Tag eins. Weniger, als Sie denken. Die Domain, der Score, die Anzahl der verweisenden Domains, das Abrufdatum und der Quellenname decken die meisten Fragen ab. Eine Traffic-Spalte wirkt hilfreich, stammt aber aus einer anderen Quelle und einem anderen Datum, also gehört sie in eine andere Tabelle.
Lassen Sie alles weg, was Sie aus den restlichen Daten neu berechnen können. Eine Änderung von Monat zu Monat ist eine Subtraktion, also halten Sie sie in einer View statt als vierte Kopie derselben Tatsache.
Schreiben Sie die Spaltenliste auch in die Diagrammanmerkungen. Ein Leser, der das Diagramm in einem Jahr öffnet, sollte sehen, woher jede Zahl stammt und welcher Abruf sie gefüllt hat.
Keys, die doppelte Zeilen verhindern
Der Primärschlüssel aus domain und pull date verhindert nicht nur Duplikate. Er zeigt auch, aus welchem Abruf eine Zeile stammt, was wichtig ist, wenn ein erneuter Lauf nach einem Timeout stattfindet. Zwei Zeilen für dieselbe Domain in einem Monat sollten unmöglich sein, und das Schema sollte dies klarstellen.
Quellennamen, nach denen Sie filtern können
Schreiben Sie die Quelle als festes Label, z. B. rankwiser_bulk_dr, nicht als Freitextnotiz. Ein Filter auf dieses Label hält diesen Score von jedem anderen Score getrennt, den Sie später laden. Halten Sie die Label-Liste kurz und notieren Sie sie neben der Tabelle.
Laufkosten, berechnet für drei Listen Größen
Berechnet aus den Credit-Preisen oben. Beispiele, keine Messwerte.
Verfolgte Domains
Aufrufe pro Monat
Credits
Dollar
50
1
1
$0.0001
500
1
1
$0.0001
5,000
3
3
$0.0003
Wenn der Lauf fehlschlägt
Ein 401 bedeutet einen fehlenden oder falschen Key. Ein 402 bedeutet, dass die Credits aufgebraucht sind, also laden Sie mit USDT vom Account Page auf. Alerten Sie bei jeder Antwort, bei der ok nicht true ist, statt Nullen in das Diagramm zu schreiben.
Testen Sie die Pipeline zunächst an drei Domains
1
Wählen Sie drei bekannte Domains
Verwenden Sie eine Site, die Sie gut kennen, einen Rivalen und eine kleine Site. Drei reichen aus, um die Struktur der Antwort zu zeigen.
2
Senden Sie die Testanfrage
Rufen Sie bulk_dr mit den drei Domains auf und speichern Sie die rohe Antwort, nicht nur die geparceten Zeilen.
3
Prüfen Sie ok und den Saldo
Bestätigen Sie, dass ok true ist, und lesen Sie _credits. Der Aufruf sollte einen Credit kosten, und der verbleibende Saldo sollte um diesen Betrag sinken.
4
Vergleichen Sie eine Zeile manuell
Schlagen Sie eine der Domains mit der kostenlosen Lookup-Funktion auf dieser Site nach. Wenn der Score mit dem übereinstimmt, was Ihr Parser gespeichert hat, ist der Parser korrekt.
Schutzmaßnahmen, die sich ab Tag eins lohnen
Führen Sie eine zweite Tabelle für fehlgeschlagene Abrufe. Eine Zeile mit dem HTTP-Status, der Zeit und dem Antworttext schlägt eine stille Lücke im Diagramm vor. Alerten Sie bei allem außer ok true.
Fixieren Sie die Domain-Liste in der Versionskontrolle. Kurze Diffs helfen. Wenn jemand einen Rivalen hinzufügt, zeigt der Diff, wer ihn wann hinzugefügt hat, und das Diagramm erhält eine Notiz. Andernfalls erscheint die Linie für diesen Rivalen aus dem Nichts und die Leute fragen, warum er im März begonnen hat.
Planen Sie auch den Wechsel der Quelle ein. Wenn Sie später Ahrefs- oder Moz-Zahlen hinzufügen, geben Sie ihnen ihren eigenen Quellenwert in der Tabelle, wie besprochen, als wir Ahrefs und Majestic verglichen haben.
Ein schneller Health-Check für jeden monatlichen Lauf
Bevor Sie einem Diagramm vertrauen, prüfen Sie den Job, der es gefüllt hat. Dann schauen Sie sich das Diagramm an. Ein gesunder Lauf gibt true für ok zurück, eine Zeile für jede angeforderte Domain und einen Saldo, der um den erwarteten Betrag gesunken ist. Alles andere ist ein Grund, die Antwort zu lesen, statt die Linie trotzdem zu zeichnen.
Zählen Sie die Zeilen, die sich bewegt haben. Wenn ein großer Anteil um drei Punkte oder mehr verschoben wurde, prüfen Sie die Domain-Liste, bevor Sie den Index verantwortlich machen. Ein plötzlicher Anstieg von Bewegungen bedeutet meist, dass sich die Liste geändert hat, nicht das Web.
Eine Zeilenzahl, die mit der Liste übereinstimmt, ist das Minimum. Weniger Zeilen bedeuten, dass eine Domain irgendwo zwischen der Datei und der Tabelle verloren gegangen ist. Finden Sie sie, bevor der nächste Lauf stattfindet.
Was ein flacher Monat Ihnen sagt
Ein Monat mit fast keinen Bewegungen ist kein Beweis für Stabilität. Der Index wird etwa einmal im Monat aktualisiert, daher kann eine flache Zeile einfach noch nicht aktualisiert worden sein. Lesen Sie einen ruhigen Monat neben seinem Abrufdatum, und denken Sie daran, dass das Diagramm immer noch dem Kalender folgt.
Wer erhält den Alert
Ein Alert, der an eine Shared Inbox geht, wird innerhalb eines Monats ignoriert. Nennen Sie eine Person für die Aufgabe und eine zweite für die Wochen, in denen diese Person abwesend ist. Der Alert sollte die Domain-Liste, den HTTP-Status und die Zeit nennen, damit der Leser nicht das Skript öffnen muss, um zu handeln.
Änderungen testen, bevor sie live gehen
Wenn Sie die Liste oder den Zeitplan ändern, führen Sie die alte und die neue Version für einen Zyklus nebeneinander aus. Übereinstimmende Zeilen zeigen, dass die Änderung nichts anderes bewirkt hat. Ein Unterschied, den Sie nicht erklären können, sollte das Rollout stoppen, wie klein er auch erscheint.
Eine Bemerkung zu Rate und Rhythmus
Hierbei geht es nicht um Geschwindigkeit. Ein monatlicher Lauf ist eine Handvoll Anfragen, selbst für große Listen, und jede Antwort kommt als ein JSON-Dokument. Wenn Ihr Scheduler bei Fehlern wiederholt, machen Sie den Retry idempotent, was der Primärschlüssel aus domain und pull date bereits gewährleistet.
Widerstehen Sie dem Drang, den Job täglich auszuführen, nur weil er günstig ist. Tun Sie es nicht. Unser Index wird etwa einmal im Monat aktualisiert. Tägliche Abrufe liefern wochenlang dieselben Zeilen, und Ihr Diagramm füllt sich mit flachen Linien, die wie Stabilität aussehen, aber nur den Crawl-Kalender widerspiegeln. Lesen Sie die Majestic-Alternative-Rezepte für andere Abrufe, die sich lohnen, wie Anchors und Intersections.
Den Job nach dem Launch besitzen
Ein monatlicher Job überlebt die Person, die ihn gebaut hat. Sechs Monate später öffnet jemand Neues den Cron-Eintrag und fragt sich, warum die Liste in einer Datei lebt. Schreiben Sie eine kurze Notiz. Setzen Sie sie an den Anfang des Skripts mit dem Zweck, dem Zeitplan und den Credit-Kosten. Diese Notiz ist günstiger als ein Meeting darüber.
Überprüfen Sie die Domain-Liste vierteljährlich. Entfernen Sie, was nicht mehr relevant ist, und fügen Sie die Rivalen hinzu, von denen eine Entscheidung tatsächlich abhängt. Jede Änderung geht in die Versionskontrolle mit einem Datum, damit das Diagramm die Änderung zeigt, statt sie zu verbergen.
Das Budget ist Teil der Überprüfung. Ein Credit pro Monat. Die Kosten bleiben gering. Prüfen Sie den Saldo am selben Tag wie das Diagramm und notieren Sie das nächste Auflade-Datum in derselben Notiz.
Fragen, die Leute zum monatlichen Job stellen
Vier Fragen tauchen auf, sobald der Job seit einigen Monaten läuft. Jede Antwort ist eine Regel, die Sie in die Einrichtungsnotiz schreiben können.
Warum nicht täglich abrufen, da die Aufrufe günstig sind?
Die Daten ändern sich nach einem monatlichen Kalender, daher wiederholt ein täglicher Abruf wochenlang dieselben Zeilen. Die Kosten sind gering, aber das Diagramm füllt sich mit flachen Linien, die wie Stabilität aussehen. Ein Diagramm, das an ein Board geht, benötigt auch die Board Runbook Fußnote.
Was, wenn ein Rival von der Liste fällt?
Behalten Sie die Historie, markieren Sie die Domain als entfernt und stoppen Sie den Abruf. Eine fehlende Linie sieht aus wie eine Datenlücke, also schreiben Sie den Grund neben das Diagramm.
Kann ich den Job an einem anderen Tag ausführen?
Ja, wenn Sie einen Tag auswählen und ihn beibehalten. Es geht um einen gleichmäßigen Rhythmus. Das Datum jeden Monat um einige Tage zu verschieben, macht den Trend schwerer lesbar.
Was mache ich mit einem 402 mitten im Monat?
Stoppen Sie den Job, laden Sie vom Account Page mit USDT auf und führen Sie nur die fehlgeschlagene Anfrage erneut aus. Behalten Sie die fehlgeschlagene Antwort in Ihrem Log, damit die Lücke im Diagramm eine schriftliche Erklärung hat.
