Instantâneo de DR do domínio: uma configuração mensal para sua ferramenta de BI
Uma configuração passo a passo que transforma uma única chamada de API em uma série temporal confiável, desde a primeira chave até o gráfico.
Equipe de pesquisa RankWiser ·
Configuração, em ordem
1
Crie a chave
Faça login com o Google em /auth/google.php. Sua conta é aberta com $100, que equivalem a 1.000.000 de créditos. Copie a chave que começa com sk_.
2
Crie a tabela
Colunas: domain, dr, ref_domains, pulled_on, source. Chave primária em domain mais pulled_on, para que uma nova execução não duplique um mês.
3
Agende uma chamada
Execute no dia 5 de cada mês. Nosso índice é atualizado aproximadamente uma vez por mês, então execuções mais frequentes adicionam linhas, não informações.
4
Analise e insira
Leia o JSON, verifique se ok é true e insira cada linha com a data da extração.
5
Marque alterações
Calcule as diferenças mês a mês e marque qualquer coisa acima de 3 pontos. Mudanças menores são principalmente ruído.
6
Crie o gráfico
Uma linha por domínio, seu próprio domínio em uma cor forte, uma banda de concorrente em cinza.
A única solicitação
Entrada Cron, executada no dia 5 às 06:00. O custo por execução é um único crédito.
Escolhendo o que um número de DR de domínio deve responder
O DR do domínio é uma contagem disfarçada. Simples. Ele aumenta quando mais sites distintos linkam para um domínio, e a escala logarítmica torna cada novo ponto mais difícil de alcançar do que o anterior. Mantenha essa frase nas anotações do gráfico.
Um bom tile responde a uma única pergunta de tendência por conjunto de domínios: estamos alcançando os três concorrentes, os parceiros estão crescendo, uma campanha mudou algo? Um tile ruim mistura tráfego ou receita e convida a uma história causal que os dados não podem sustentar.
Armazene também a contagem bruta de domínios de referência. Se a pontuação mudar um ponto, você pode ver se foram 40 novos domínios ou 4.000, e isso diz se você deve se preocupar.
O que a tabela deve e não deve conter
Uma tabela de instantâneos é uma memória. Ela deve conter o que você precisa para explicar um gráfico em um ano, e nada que conveça a uma explicação errada. Comece com o menor conjunto de colunas que responda à pergunta de tendência. Adicione uma apenas quando uma reunião pedir.
Algumas colunas merecem seu lugar desde o primeiro dia. Menos do que você imagina. O domínio, a pontuação, a contagem de domínios de referência, a data de extração e o nome da fonte cobrem a maioria das perguntas. Uma coluna de tráfego parece útil, mas vem de outra fonte e de outra data, então pertence a outra tabela.
Exclua tudo o que você pode recalcular a partir do restante. Uma mudança mês a mês é uma subtração, então mantenha-a em uma view em vez de como uma quarta cópia do mesmo fato.
Escreva a lista de colunas também nas anotações do gráfico. Um leitor que abrir o gráfico em um ano deve ver de onde veio cada número e qual extração o preencheu.
Chaves que impedem linhas duplicadas
A chave primária em domain e pull date faz mais do que bloquear duplicatas. Ela também informa de qual extração uma linha veio, o que importa quando uma nova execução ocorre após um timeout. Duas linhas para o mesmo domínio em um mês devem ser impossíveis, e o esquema deve dizer isso.
Nomes de fonte nos quais você pode filtrar
Escreva a fonte como um rótulo fixo, como rankwiser_bulk_dr, não como uma nota de texto livre. Um filtro nesse rótulo mantém essa pontuação separada de qualquer outra pontuação que você carregar depois. Mantenha a lista de rótulos curta e anote-a ao lado da tabela.
Custos de execução, calculados para três tamanhos de lista
Calculado a partir dos preços de crédito acima. Exemplos, não medições.
Domínios rastreados
Chamadas por mês
Créditos
Dólares
50
1
1
$0.0001
500
1
1
$0.0001
5,000
3
3
$0.0003
Quando a execução falha
Um 401 significa uma chave ausente ou errada. Um 402 significa que os créditos acabaram, então recarregue com USDT na página da conta. Alerta sobre qualquer resposta onde ok não é true, em vez de escrever zeros no gráfico.
Teste o pipeline em três domínios primeiro
1
Escolha três domínios conhecidos
Use um site que você conhece bem, um concorrente e um site pequeno. Três são suficientes para mostrar a forma da resposta.
2
Envie a solicitação de teste
Chame bulk_dr com os três domínios e salve a resposta bruta, não apenas as linhas analisadas.
3
Verifique ok e o saldo
Confirme que ok é true e leia _credits. A chamada deve custar um crédito, e o saldo restante deve cair nessa quantidade.
4
Compare uma linha manualmente
Procure um dos domínios com a consulta gratuita neste site. Se a pontuação corresponder ao que seu analisador armazenou, o analisador é sólido.
Guardrails worth adding on day one
Mantenha uma segunda tabela de extrações que falharam. Uma linha com o status HTTP, o horário e o corpo da resposta supera uma lacuna silenciosa no gráfico. Alerta sobre qualquer coisa que não seja ok true.
Fixe a lista de domínios no controle de versão. Diffs curtos ajudam. Quando alguém adiciona um concorrente, o diff mostra quem adicionou e quando, e o gráfico recebe uma nota. Caso contrário, a linha desse concorrente aparece do nada e as pessoas perguntam por que ela começou em março.
Planeje também a mudança de fonte. Se você adicionar números do Ahrefs ou Moz mais tarde, dê a eles seu próprio valor de source na tabela, conforme discutido quando comparamos Ahrefs e Majestic.
Uma verificação rápida de saúde para cada execução mensal
Antes de confiar em um gráfico, verifique o job que o preencheu. Depois olhe para o gráfico. Uma execução saudável retorna ok definido como true, uma linha para cada domínio solicitado e um saldo que caiu na quantidade esperada. Qualquer outra coisa é um motivo para ler a resposta, não para desenhar a linha de qualquer maneira.
Conte as linhas que mudaram. Se uma grande parte mudou em três pontos ou mais, verifique a lista de domínios antes de culpar o índice. Uma inundação repentina de mudanças geralmente significa que a lista mudou, não a web.
Uma contagem de linhas que corresponde à lista é o mínimo. Menos linhas significam que um domínio foi descartado em algum lugar entre o arquivo e a tabela. Encontre-o antes da próxima execução.
O que um mês plano diz a você
Um mês com quase nenhuma mudança não é prova de estabilidade. O índice é atualizado aproximadamente uma vez por mês, então uma linha plana pode simplesmente não ter sido atualizada ainda. Leia um mês silencioso junto com sua data de extração e lembre-se de que o gráfico ainda segue o calendário.
Quem recebe o alerta
Um alerta que vai para uma caixa de entrada compartilhada é ignorado dentro de um mês. Nomeie uma pessoa para o trabalho e uma segunda para as semanas em que a pessoa estiver ausente. O alerta deve nomear a lista de domínios, o status HTTP e o horário, para que o leitor não precise abrir o script para agir.
Testando uma alteração antes de ir para produção
Se você alterar a lista ou o agendamento, execute as versões antiga e nova lado a lado por um ciclo. Linhas correspondentes mostram que a alteração não fez nada a mais. Uma diferença que você não consegue explicar deve interromper o lançamento, por menor que pareça.
Uma nota sobre taxa e ritmo
Nada aqui precisa de velocidade. Uma execução mensal é um punhado de solicitações, mesmo para listas grandes, e cada resposta chega como um único documento JSON. Se seu agendador tentar novamente em caso de falha, torne a tentativa idempotente, o que a chave primária em domain e pull date já lhe dá.
Resista à tentação de executar o job diariamente só porque é barato. Não faça. Nosso índice é atualizado aproximadamente uma vez por mês. Extrações diárias retornam as mesmas linhas por semanas, e seu gráfico se preenche com linhas planas que parecem estabilidade, mas apenas refletem o calendário de rastreamento. Leia as receitas alternativas do Majestic para outras extrações que valem a pena agendar, como âncoras e interseções.
Assumindo o job após o lançamento
Um job mensal sobrevive à pessoa que o construiu. Seis meses depois, alguém novo abre a entrada Cron e se pergunta por que a lista vive em um arquivo. Escreva uma nota curta. Coloque-a no topo do script com o propósito, o agendamento e o custo de crédito. Essa nota é mais barata que uma reunião sobre ela.
Revise a lista de domínios a cada trimestre. Remova o que não importa mais e adicione os concorrentes em que uma decisão realmente depende. Cada alteração entra no controle de versão com uma data, para que o gráfico possa mostrar a mudança em vez de escondê-la.
O orçamento também faz parte da revisão. Um crédito por mês. O custo permanece mínimo. Verifique o saldo no mesmo dia do gráfico e anote a próxima data de recarga na mesma nota.
Perguntas que as pessoas fazem sobre o job mensal
Quatro perguntas surgem uma vez que o job está rodando há alguns meses. Cada resposta é uma regra que você pode escrever na nota de configuração.
Por que não extrair diariamente, já que as chamadas são baratas?
Os dados mudam em um calendário mensal, então uma extração diária repete as mesmas linhas por semanas. O custo é pequeno, mas o gráfico se preenche com linhas planas que parecem estabilidade. Um gráfico que vai para uma board também precisa da nota de rodapé do board runbook.
E se um concorrente sair da lista?
Mantenha seu histórico, marque o domínio como removido e pare de extraí-lo. Uma linha ausente parece uma lacuna de dados, então escreva o motivo ao lado do gráfico.
Posso executar o job em um dia diferente?
Sim, se você escolher um dia e mantê-lo. O ponto é um ritmo constante. Mover a data por alguns dias a cada mês torna a tendência mais difícil de ler.
O que fazer com um 402 no meio do mês?
Pare o job, recarregue na página da conta com USDT e execute novamente apenas a solicitação falhada. Mantenha a resposta falhada no seu log, para que a lacuna no gráfico tenha uma explicação escrita.
