El 4 de mayo, Google anunció que estaban lanzando una nueva actualización base.Para el 7 de mayo, parecía que el polvo se había asentado en gran medida.Aquí hay una vista de 11 días desde MozCast:

Medimos una volatilidad relativamente alta del 4 al 6 de mayo, alcanzando un máximo de 112,6° el 5 de mayo. Tenga en cuenta que la temperatura media a 30 días antes del 4 de mayo fue históricamente muy alta (89,3°).

¿Cómo se compara con las actualizaciones básicas anteriores?Con la advertencia de que las temperaturas recientes han estado muy por encima de los promedios históricos, la actualización principal de mayo de 2020 ha sido hasta ahora nuestra actualización principal más caliente, llegando justo por debajo de la actualización de agosto de 2018 "Medic".

¿Quién "ganó" puede ser la actualización principal?

Es común informar a los ganadores y perdedores después de una actualización importante (y lo hice yo mismo), pero desde hace algún tiempo me preocupa que estos análisis solo capturen una pequeña ventana de tiempo.Cada vez que comparamos dos puntos fijos a lo largo del tiempo, ignoramos la volatilidad natural de las clasificaciones de búsqueda y las diferencias inherentes entre las palabras clave.

Esta vez, me gustaría echar un vistazo a los escollos.Me voy a centrar en los ganadores.En la tabla siguiente se muestran los ganadores de 1 día (5 de mayo) en función del total de clasificaciones en el conjunto de seguimiento mozcast de 10.000 palabras clave.He incluido sólo subdominios con al menos 25 clasificaciones el 4 de mayo:

Dejando a un lado las sospechas estadísticas habituales (pequeño tamaño de muestra para algunas palabras clave, los pros y los contras únicos de nuestro conjunto de datos, etc.), ¿Cuál es el problema con este análisis?Claro, hay varias maneras de reportar la "ganancia del%" (como un cambio absoluto frente al porcentaje relativo), pero reporté números absolutos honestamente y la variación relativa es precisa.

El problema es que, corriendo para ejecutar los números después de un día, ignoramos la realidad de que la mayoría de las actualizaciones básicas son de varios días (una tendencia que parecía continuar para la actualización básica de mayo, como lo demuestra nuestro gráfico inicial).Además, no hemos sido capaces de tener en cuenta dominios cuya clasificación puede ser históricamente inestable (pero hablaremos de esto más adelante).¿Qué sucede si comparamos los datos de 1 día y 2 días?

¿Qué historia contamos?

En la tabla siguiente se agrega el porcentaje relativo de 2 días obtenidos.He mantenido los mismos 25 subdominios y seguiré clasándolos según el porcentaje de 1 día obtenido, por coherencia:

Incluso comparando los dos primeros días del lanzamiento, podemos ver que la historia está cambiando considerablemente.La pregunta es, ¿qué historia contamos?A menudo ni siquiera miramos las listas, sino anécdotas basadas en nuestros clientes o datos de cosecha de cerezas.Considere esta historia:

Si esta fuera nuestra única visión de los datos, probablemente concluiríamos que la actualización se intensificó en el transcurso de los dos días, con el día dos sitios aún más gratificantes.También podríamos empezar a crear una historia sobre cómo ha crecido la demanda de aplicaciones o algunos sitios de noticias han sido recompensados.Estas historias pueden tener un grano de verdad, pero el hecho es que no tenemos idea sólo de estos datos.

Ahora vamos a elegir tres puntos de datos diferentes (todos estos están en el top 20):

Desde esta visión limitada, podemos concluir que Google decidió que la actualización principal salió mal y la revirtió en el segundo día.También podemos concluir que algunos sitios de noticias han sido penalizados por alguna razón.Esto cuenta una historia muy diferente a la del primer conjunto de anécdotas.

Hay una historia aún más extraña enterrada en los datos de mayo de 2020.Considere esto:

LinkedIn mostró un ligero aumento (uno que generalmente ignoraríamos) el primer día y luego perdió el 100% de su clasificación en el segundo día.Wow, esa actualización de mayo realmente tiene un golpe!Resulta que LinkedIn puede haber desindexado accidentalmente su sitio: se recuperaron al día siguiente y parece que este gran cambio no tuvo nada que ver con la actualización principal.La simple verdad es que estos números nos dicen muy poco sobre por qué un sitio ha ganado o perdido clasificaciones.

¿Cómo definimos "normal"?

Echemos un vistazo más profundo a los datos de MarketWatch.Marketwatch ganó 19% en estadísticas de 1 día, pero perdió 2% en números de 2 días.El problema aquí es que a partir de estos números no sabemos cuál es el flujo serp normal de marketwatch.Aquí hay un gráfico de siete días antes y después del 4 de mayo (el inicio de la actualización principal):

Mirando incluso un poco de datos históricos, podemos ver que MarketWatch, como la mayoría de los sitios de noticias, experimenta una volatilidad significativa.Las "ganancias" del 5 de mayo se deben únicamente a las pérdidas del 4 de mayo. Resulta que el promedio de 7 días después del 4 de mayo (45,7) es sólo un ligero aumento con respecto a la media de 7 días antes del 4 de mayo (44,3), con MarketWatch midiendo una modesta ganancia relativa de +3,2%.

Ahora echemos un vistazo a Google Play, que parecía haber sido un claro ganador después de dos días:

Ni siquiera necesitas hacer matemáticas para detectar la diferencia aquí.Comparando el promedio de 7 días antes del 4 de mayo (232,9) con el promedio de 7 días después (448,7), Google Play registró un cambio relativo significativo de +93% después de la actualización principal de mayo.

¿Cómo funciona esta comparación antes/después de 7 días con el incidente de LinkedIn?Aquí hay un gráfico del antes/después con las líneas punteadas añadidas para los dos medios:

Si bien este enfoque definitivamente ayuda a compensar la anomalía de un día, todavía estamos mostrando un cambio antes / después de -16%, que no está realmente en línea con la realidad.Se puede ver que seis de los siete días siguientes a la actualización principal en mayo estaban por encima de la media de 7 días.Tenga en cuenta que LinkedIn también tiene una volatilidad relativamente baja en comparación con la historia de corto alcance.

¿Por qué estoy recogiendo una cereza podrida con un ejemplo extremo donde mi nueva métrica no está a la altura?Quiero dejar perfectamente claro que ninguna métrica puede contar toda la historia.Aunque hemos tenido en cuenta la varianza y llevado a cabo pruebas estadísticas, todavía falta mucha información.Una clara diferencia antes/después no nos dice lo que realmente sucedió, solo que ha habido un cambio relacionado con el momento de la actualización principal.Esta es información útil, pero todavía requiere una investigación adicional antes de pasar a conclusiones extensas.

En general, sin embargo, el enfoque es definitivamente mejor que las secciones de un día.El uso de las cuentas de comparación antes y después promedio de 7 días tanto para los datos históricos como siete días completos después de la actualización.¿Qué sucede si extendemos esta comparación de período de 7 días con el conjunto de datos más grande?Aquí está nuestra lista de "ganadores" originales con los nuevos números:

Por supuesto, esto es mucho para digerir en una tabla, pero podemos empezar a ver dónde la métrica de antes y después (la diferencia relativa entre los promedios de 7 días) muestra una imagen diferente, en algunos casos, que la vista de 1 día o 2 días.Vamos a seguir adelante y reconstruir el top 20 en función del cambio porcentual antes y después:

Algunos de los grandes jugadores son los mismos, pero también tenemos algunos recién llegados, incluyendo sitios que parecían haber perdido visibilidad en el primer día, pero que acumularon ganancias de 2 y 7 días.

Echemos un vistazo rápido a Parents.com, nuestro gran ganador original (¿ganador? ¿El ganador?).El primer día mostró una ganancia masiva de +100% (duplicando la visibilidad), pero los números en el segundo día fueron más modestos y las ganancias antes y después llegaron a poco menos de la mitad del primer día.Estos son los siete días antes y después:

Es fácil ver aquí que el salto del primer día fue una anomalía a corto plazo, basada en parte en una caída del 4 de mayo. La comparación de promedios durante 7 días parece acercarse mucho a la verdad.Esta es una advertencia no sólo para algo trackers como yo, pero para LOS que podrían verlo + 100% y apresurarse a decirle a su jefe o cliente.No dejes que las buenas noticias se conviertan en una promesa que no puedes cumplir.

¿Por qué seguimos haciendo esto?

Si parece que estoy llamando a la industria, fíjate que estoy exactamente en mi punto de mira aquí.Hay una enorme presión para publicar el análisis con antelación, no sólo porque equivale al tráfico y los enlaces (francamente, lo hace), sino porque los propietarios de sitios y los SEO realmente quieren las respuestas.Como escribí recientemente, creo que hay un gran peligro en sobreinterpretar las pérdidas a corto plazo y reparar las cosas equivocadas.Sin embargo, creo que también existe un peligro real de sobreestimar las victorias a corto plazo y tener la expectativa de que esas ganancias serán permanentes.Esto puede conducir a decisiones igualmente arriesgadas.

¿Es todo un desastre?No, no lo creo, pero creo que es muy fácil salir de la acera y entrar en el barro después de una tormenta, y al menos tenemos que esperar a que el suelo se seque.No es fácil en un mundo de 24 horas de Twitter y ciclos de noticias, pero es esencial obtener una vista de varios días, especialmente porque tantas actualizaciones de algoritmos grandes abarcan largos períodos de tiempo.

¿Qué números debemos creer?En cierto modo, todos ellos, o al menos todos ellos que podemos verificar correctamente.Ninguna métrica pintará nunca toda la imagen, y antes de apresurarse a celebrar estar en la lista de ganadores, es importante dar ese siguiente paso y entender verdaderamente las tendencias históricas y el contexto de cada victoria.

¿Quién quiere datos gratuitos?

Dado el alcance del análisis, no he cubierto a los perdedores de la actualización principal de mayo de 2020 en esta publicación o he salido de los 20 primeros, pero puede descargar los datos sin procesar aquí.Si desea editarlo, cree primero una copia. Los ganadores y perdedores están en pestañas separadas, y esto cubre todos los dominios con al menos 25 tablas de clasificación en nuestro conjunto de datos Mozercast 10K el 4 de mayo (poco más de 400 dominios).