Il 4 maggio, Google ha annunciato che stavano lanciando un nuovo aggiornamento di base. Entro il 7 maggio, sembrava che la polvere si fosse in gran parte depositata. Ecco una vista di 11 giorni da MozCast:
Abbiamo misurato una volatilità relativamente elevata dal 4 al 6 maggio, con un picco di 112,6 ° il 5 maggio. Si noti che la temperatura media a 30 giorni prima del 4 maggio era storicamente molto elevata (89,3 °).
Come si confronta con gli aggiornamenti core precedenti? Con l’avvertenza che le temperature recenti sono state ben al di sopra delle medie storiche, l’aggiornamento principale di maggio 2020 è stato finora il nostro aggiornamento principale più caldo, arrivando appena sotto l’aggiornamento “Medic” di agosto 2018.
Chi ha “vinto” l’aggiornamento principale di maggio?
È comune segnalare vincitori e vinti dopo un importante aggiornamento (e l’ho fatto da solo), ma da un po ‘di tempo sono preoccupato che queste analisi catturino solo una piccola finestra di tempo. Ogni volta che confrontiamo due punti fissi nel tempo, ignoriamo la naturale volatilità delle classifiche di ricerca e le differenze intrinseche tra le parole chiave.
Questa volta, vorrei dare una occhiata alle insidie. Mi concentrerò sui vincitori. La tabella seguente mostra i vincitori di 1 giorno (5 maggio) in base alle classifiche totali nel set di tracciamento MozCast di 10.000 parole chiave. Ho incluso solo sottodomini con almeno 25 classifiche il 4 maggio:
Mettendo da parte i soliti sospetti statistici (piccole dimensioni del campione per alcune parole chiave, i pro e i contro unici del nostro set di dati, ecc.), Qual è il problema con questa analisi? Certo, ci sono diversi modi per riportare il “% di guadagno” (come variazione assoluta vs. percentuale relativa), ma ho riportato i numeri assoluti onestamente e la variazione relativa è accurata.
Il problema è che, correndo per eseguire i numeri dopo un giorno, abbiamo ignorato la realtà che la maggior parte degli aggiornamenti di base sono di più giorni (una tendenza che sembrava continuare per l’aggiornamento di base di maggio, come evidenziato dal nostro grafico iniziale). Inoltre, non siamo riusciti a tenere conto dei domini la cui classifica potrebbe essere storicamente instabile (ma ne parleremo più avanti tra poco). Che cosa succede se confrontiamo i dati di 1 giorno e 2 giorni?
Quale storia raccontiamo?
La tabella seguente aggiunge la percentuale relativa di 2 giorni ottenuta. Ho mantenuto gli stessi 25 sottodomini e continuerò a classificarli in base alla percentuale di 1 giorno ottenuta, per coerenza:
Anche solo confrontando i primi due giorni del lancio, possiamo vedere che la storia sta cambiando considerevolmente. Il problema è: quale storia raccontiamo? Spesso non guardiamo nemmeno gli elenchi, ma aneddoti basati sui nostri clienti o dati sulla raccolta delle ciliegie. Considera questa storia:
Se questa fosse la nostra unica visione dei dati, probabilmente concluderemmo che l’aggiornamento si è intensificato nel corso dei due giorni, con il giorno due siti ancora più gratificanti. Potremmo anche iniziare a creare una storia su come la domanda di app è cresciuta o alcuni siti di notizie sono stati premiati. Queste storie potrebbero avere un granello di verità, ma il fatto è che non abbiamo idea solo da questi dati.
Ora scegliamo tre diversi punti di dati (tutti questi sono tra i primi 20):
Da questa visione limitata, potremmo concludere che Google ha deciso che l’aggiornamento principale è andato storto e lo ha invertito il secondo giorno. Potremmo anche concludere che alcuni siti di notizie sono stati penalizzati per qualche motivo. Questo racconta una storia selvaggiamente diversa rispetto alla prima serie di aneddoti.
C’è una storia ancora più strana sepolta nei dati di maggio 2020. Considera questo:
LinkedIn ha mostrato un lieve aumento (uno che generalmente ignoreremmo) il primo giorno e poi ha perso il 100% delle sue classifiche il secondo giorno. Caspita, quell’aggiornamento di maggio ha davvero un pugno! Si scopre che LinkedIn potrebbe aver de-indicizzato accidentalmente il proprio sito : si sono ripresi il giorno successivo e sembra che questo enorme cambiamento non abbia avuto nulla a che fare con l’aggiornamento principale. La semplice verità è che questi numeri ci dicono molto poco sul perché un sito ha guadagnato o perso le classifiche.
Come definiamo “normale”?
Diamo uno sguardo più approfondito ai dati di MarketWatch. Marketwatch ha guadagnato il 19% nelle statistiche a 1 giorno, ma ha perso il 2% nei numeri a 2 giorni. Il problema qui è che da questi numeri non sappiamo quale sia il normale flusso SERP di MarketWatch. Ecco un grafico di sette giorni prima e dopo il 4 maggio (l’inizio del Core Update):
Guardando anche solo un po ‘di dati storici, possiamo vedere che MarketWatch, come la maggior parte dei siti di notizie, sperimenta una volatilità significativa. I “guadagni” del 5 maggio sono solo a causa delle perdite del 4 maggio. Si scopre che la media a 7 giorni dopo il 4 maggio (45,7) è solo un leggero aumento rispetto alla media a 7 giorni prima del 4 maggio (44,3), con MarketWatch misura un guadagno relativo modesto del + 3,2%.
Ora diamo un’occhiata a Google Play, che sembrava essere stato un chiaro vincitore dopo due giorni:
Non hai nemmeno bisogno di fare la matematica per individuare la differenza qui. Confrontando la media a 7 giorni prima del 4 maggio (232,9) con la media a 7 giorni dopo (448,7), Google Play ha registrato una variazione relativa significativa del + 93% dopo l’aggiornamento principale di maggio.
Come funziona questo confronto prima / dopo 7 giorni con l’incidente di LinkedIn? Ecco un grafico del prima / dopo con le linee tratteggiate aggiunte per i due mezzi:
Mentre questo approccio aiuta sicuramente a compensare l’anomalia di un giorno, stiamo ancora mostrando una variazione prima / dopo del -16%, che non è davvero in linea con la realtà. Puoi vedere che sei dei sette giorni successivi all’aggiornamento principale di maggio erano superiori alla media di 7 giorni. Si noti che LinkedIn ha anche una volatilità relativamente bassa rispetto alla cronologia a corto raggio.
Perché sto raccogliendo una marcio ciliegia con un esempio estremo in cui la mia nuova metrica non è all’altezza? Voglio che sia perfettamente chiaro che nessuna metrica potrà mai raccontare l’intera storia. Anche se abbiamo tenuto conto della varianza e abbiamo effettuato test statistici, mancano ancora molte informazioni. Una chiara differenza prima / dopo non ci dice cosa è effettivamente accaduto, solo che c’è stato un cambiamento correlato con i tempi del Core Update. Si tratta di informazioni utili, ma richiede ancora ulteriori indagini prima di passare a conclusioni estese.
Nel complesso, tuttavia, l’approccio è sicuramente migliore delle sezioni di un giorno. L’utilizzo dei conti di confronto della media prima e dopo di 7 giorni per entrambi i dati storici e sette giorni interi dopo l’aggiornamento. E se estendessimo questo confronto tra periodi di 7 giorni al set di dati più grande? Ecco la nostra lista dei “vincitori” originale con i nuovi numeri:
Ovviamente, questo è molto da digerire in una tabella, ma possiamo iniziare a vedere dove la metrica prima e dopo (la differenza relativa tra medie di 7 giorni) mostra un quadro diverso, in alcuni casi, rispetto all’1 vista giorno o 2 giorni. Andiamo avanti e ricostruiamo i primi 20 in base alla variazione percentuale prima e dopo:
Alcuni dei grandi giocatori sono gli stessi, ma abbiamo anche alcuni nuovi arrivati, inclusi siti che sembravano aver perso visibilità il primo giorno, ma che hanno accumulato guadagni di 2 e 7 giorni.
Diamo una rapida occhiata a Parents.com, il nostro grande vincitore originale (vincitore? Vincitoreest?). Il primo giorno ha mostrato un guadagno massiccio del + 100% (raddoppiando la visibilità), ma i numeri del secondo giorno erano più modesti e i guadagni prima e dopo sono arrivati a poco meno della metà del primo giorno. Ecco i sette giorni prima e dopo:
È facile vedere qui che il salto del primo giorno è stato un’anomalia a breve termine, basato in parte su un calo del 4 maggio. Il confronto delle medie su 7 giorni sembra avvicinarsi molto alla verità. Questo è un avvertimento non solo per algo tracker come me, ma per i SEO che potrebbero vederlo + 100% e correre a dirlo al proprio capo o cliente. Non lasciare che le buone notizie si trasformino in una promessa che non puoi mantenere.
Perché continuiamo a farlo?
Se sembra che sto chiamando il settore, nota che sono esattamente nel mio mirino qui. C’è un’enorme pressione a pubblicare le analisi in anticipo, non solo perché equivale al traffico e ai collegamenti (francamente, lo fa), ma perché i proprietari dei siti e i SEO vogliono davvero le risposte. Come ho scritto di recente, penso che ci sia un enorme pericolo nel sovrainterpretare le perdite a breve termine e nel riparare le cose sbagliate . Tuttavia, penso che ci sia anche un pericolo reale nel sopravvalutare le vittorie a breve termine e avere l’aspettativa che tali guadagni siano permanenti. Ciò può portare a decisioni altrettanto rischiose.
È tutto un casino? No, non la penso così, ma penso che sia molto facile scendere dal marciapiede e nel fango dopo una tempesta, e almeno dobbiamo aspettare che il terreno si asciughi. Non è facile in un mondo di Twitter e cicli di notizie di 24 ore, ma è essenziale ottenere una visione di più giorni, soprattutto perché tanti aggiornamenti di algoritmi di grandi dimensioni si estendono per lunghi periodi di tempo.
A quali numeri dovremmo credere? In un certo senso, tutti loro, o almeno tutti quelli che possiamo verificare adeguatamente. Nessuna singola metrica potrà mai dipingere l’intera immagine e prima di affrettarti a celebrare di essere nella lista dei vincitori, è importante fare quel passo successivo e comprendere davvero le tendenze storiche e il contesto di ogni vittoria.
Chi vuole alcuni dati gratuiti?
Dato lo scopo dell’analisi, non ho trattato i perdenti del Core Update di maggio 2020 in questo post o ho superato i primi 20, ma puoi scaricare qui i dati non elaborati . Se desideri modificarlo, crea prima una copia. Vincitori e vinti si trovano in schede separate, e questo copre tutti i domini con almeno 25 classifiche nel nostro set di dati Mozercast 10K il 4 maggio (poco più di 400 domini).