Cómo interpretar los resultados de la prueba AB

En esta publicación, veremos cómo interpretar los resultados de las pruebas A / B para elegir un ganador analizando los resultados de una prueba de muestra que configuramos.

Pero antes de comenzar, hay dos cosas que debe tener en cuenta al configurar sus propias pruebas.

1. Su prueba debe ejecutarse siempre que tenga al menos un 95% de posibilidades de superar los controles.
   A veces es tentador terminar la prueba antes, pero esa es la única forma de asegurarse de que mejorar su tasa de conversión sea estadísticamente relevante. También debe saber que cuanto menor sea la mejora, más tiempo deberá tomar la prueba para alcanzar la significación estadística. Una prueba con una mejora del 5 % lleva más tiempo que una prueba con una mejora del 45 %.
2. También debe probar durante al menos 7 días.
   Esto tiene en cuenta las variaciones en el tráfico durante los días laborables y los fines de semana y garantiza que sus opciones ganadoras resistirán la prueba del tiempo. Si no puede ganar en 7 días, ¿realmente puede confiar en él para aumentar la tasa de conversión a largo plazo de su sitio? No exactamente.

Ahora que lo hemos solucionado, hablemos sobre la mejor manera de interpretar los resultados de la prueba.

Interpretar los resultados de la prueba.

La mayoría de las pruebas involucran compromiso (número de visitas a la página) De forma predeterminada, se miden otros objetivos importantes establecidos al comienzo de la prueba. Para nuestra prueba de muestra, establecemos objetivos para la cantidad de personas que llegan a la página de registro y la cantidad de personas que llegan a la página de confirmación, que es la cantidad de personas que se registran para la prueba gratuita. Si se trata de una prueba completa, también realizaremos un seguimiento de la cantidad de personas que terminan registrándose en una cuenta paga, ya que lo que importa son los ingresos generados, no necesariamente la cantidad de personas que se registran en una cuenta gratuita. Así que también queremos seguirlo. También analizamos el compromiso como ejemplo para que podamos ver qué versión aumenta el compromiso.

Lo primero que ves cuando haces clic "reporte" entonces "Ejecutar prueba" El contenido de Visual Website Optimizer es un resumen de sus pruebas actuales. Muestra el número total de visitantes, el número total de conversiones, la tasa de conversión y el número de variaciones y objetivos rastreados. También proporciona una tabla de resumen rápida con una barra roja o verde que muestra si la nueva opción ha mejorado las tasas de conversión. (verde significa sí, rojo significa no). Estos datos son útiles para actualizaciones rápidas de un vistazo, pero "reporte detallado" sección o botón.

Nota: Los datos de muestra en este ejemplo se basan en pruebas que no se realizaron en CrazyEgg.com.

Utilizamos estos datos con fines indicativos y no para mostrar resultados reales del sitio web de Crazy Egg.

Después de hacer clic "reporte detallado", Verá una opción para cambiar entre objetivos, así como un gráfico que representa la tasa de conversión para cada opción. (incluidos los controles). Este gráfico visualiza la tasa de conversión para cada opción y ayuda a comprender cómo una opción tiene prioridad sobre la otra durante el período de tiempo que está probando. En el ejemplo a continuación, la nueva opción (línea morada), inicialmente superó significativamente a los controles, se estabilizó hasta cierto punto y continuó superando los cambios durante el período de prueba de 7 días.

Debajo del gráfico hay una vista detallada de los resultados para cada objetivo que elija. Compara el control con el cambio(C) Y muestra la tasa de conversión, el rango de la tasa de conversión, el porcentaje de mejora, la posibilidad de superar el original y la cantidad de conversiones y visitantes para cada opción. Veremos estos resultados con más detalle en la siguiente sección.

Ver los resultados en detalle

Para nuestras estadísticas de muestra, medimos el compromiso, las impresiones de la página de registro y los registros de prueba gratuitos. Ahora echemos un vistazo más de cerca a cada uno de ellos.

comprometerse

Cuando observamos el compromiso, vemos que los nuevos cambios aumentan el compromiso. 2,48% y 82% Una oportunidad de vencer al original. El compromiso de la nueva versión es 60,69%, la participación de control es 59,23%.

sacar: Como esta no es una estadística muy importante para esta prueba, la monitorearemos para obtener más información sobre las noticias, pero no la tomaremos demasiado en serio de una manera u otra, ya que a veces la versión atrae a menos clientes potenciales para participar. - altas tasas de conversión para otros fines, lo que significa que para algunas opciones es mejor una participación más baja. Tampoco nos preocupamos por tener un 95 % o más de posibilidades de superar al original en términos de participación, ya que esta no fue la estadística más importante en nuestras pruebas.

Visite la página de registro

Luego veremos el tráfico en la página de registro. Nuestra prueba de muestra aumentó el CTR en la página de registro en un 2,5% y superó a la página original en un 72% de las ocasiones. El factor de conversión del control es 36,41% y el factor de conversión de la nueva variante es 37,32%.

sacar: Nuevamente, este no es el objetivo más importante de esta prueba, por lo que lo que aprenderemos de la tasa de conversión mejorada no se basará en este resultado. Es genial ver que los CTR aumentan, lo que significa conversiones más altas en la parte superior de nuestro embudo. , pero no hay garantía de que esto genere más registros (Aunque probablemente lo hará, por lo que es una mejora alentadora)Esta es otra estadística que podemos aprender, pero que no usamos para decidir un cambio rentable.

Regístrese para una prueba gratuita

La siguiente y última estadística son los registros de prueba gratuitos. El objetivo principal de nuestras pruebas es lograr que más personas se registren para una prueba gratuita, por lo que este es el más importante de los tres que hemos visto hasta ahora. Incluso si otros objetivos aumentan las conversiones al comienzo del embudo, no tenemos que hacer cambios a menos que mejoren los registros de prueba gratuitos.

Lo que vemos en las estadísticas es que la nueva versión ha aumentado las conversiones. 8,21% y 92% Oportunidad de vencer al original Tasa de conversión controlada 24,86%, la tasa de conversión para la nueva opción es 26,9%.

sacar: Las declaraciones basadas en resultados son muy prometedoras. La prueba ha estado funcionando durante 7 días y la nueva versión tiene un 92% Posibilidad de aumentar la tasa de conversión 8,21%Es demasiado pronto para anunciar un ganador según las recomendaciones. 95% Superó la oportunidad inicial, pero el resultado parece prometedor. Continuaremos dejando que la prueba se ejecute durante un tiempo hasta que alcance 95% o una mejor oportunidad de ganar, pero hay una buena posibilidad de que lleguemos porque ya estamos adentro 92% oportunidad.

anunciando al ganador

En base a estos resultados, anunciaremos la nueva versión como ganadora, siempre y cuando siga mejorando las tasas de conversión hasta que aparezca 95% o más de posibilidades de ganarEs posible que sigamos analizando otros resultados de conversión y mejoras, pero dado que el tercer objetivo es el más importante, anunciaremos el ganador de la prueba según la versión que tenga una mejor conversión para ese propósito.

Después de anunciar al ganador, transmitimos la información de la versión ganadora al departamento de TI o al desarrollador web para implementar los cambios. Visual Website Optimizer facilita la prueba de cambios simples sin la participación del desarrollador, pero estos cambios finalmente deben hacerse permanentes en su sitio web, lo que significa que debe buscar los servicios de un desarrollador web que pueda implementar los cambios.

¿Qué aprendimos de la prueba?

¿Te parecen interesantes estos resultados? Los nuevos cambios aumentan el compromiso 2,48%, el tráfico a la página de registro ha aumentado 2,5%y mayores registros de prueba gratuitos 8,21%Una de las lecciones más importantes que aprendimos de esta prueba es que lograr el objetivo final es más importante que mejorar la microconversión de otros objetivos. Dado que lo que realmente nos interesa en esta prueba es que más personas se registren para la prueba gratuita, este es el objetivo que realmente importa, y esto es lo que debemos usar para anunciar al ganador. Las visitas a la página de registro de prueba gratuita aumentaron solo un 2,5%, pero los registros de prueba gratuitos han aumentado 8,21%Si solo midiéramos los clics en la página de registro, no nos daríamos cuenta de lo útil que es esta prueba para las estadísticas que realmente importan. Esto muestra la importancia de medir los objetivos más importantes de su sitio web, no las microconversiones.

También es importante señalar que El objetivo más importante es el posible registro pagado de una cuenta.Si realmente queremos que esta prueba mejore el resultado final, también debemos medir el porcentaje de personas que terminan registrándose en una cuenta paga. Es posible que hayamos aumentado el número de registros de prueba gratuitos, pero hemos reducido el número de cuentas pagas registradas, lo que significa que tenemos que medir hasta el final del embudo para obtener los resultados más adecuados.

Herramientas adicionales: tarjetas de calor y tarjetas de clic

Visual Website Optimizer también proporciona tarjetas de calor y clic que puede utilizar para obtener más información. Al revisar los mapas de calor y los mapas clic a clic, obtendrá una mejor comprensión de cómo las personas interactúan con su sitio web. Sabrá qué enlaces y botones hacen más clic, cuáles ignoran, cuáles creen que son enlaces pero no lo son y en qué parte del sitio pueden confundirse. Esta información puede ayudarlo a generar nuevas ideas y ver si sus visitantes están confundidos acerca de su sitio. Puede revisar esta información durante y después de la prueba para obtener más información sobre cómo sus visitantes usan la suya. sitio.

Este es el sitio web visual Ejemplo de tarjeta de calor y tarjeta de clic en el optimizador.

Crazy Egg también ofrece tarjetas de calor y clic, que pueden brindar más información a sus visitantes. La versión VWO es un excelente complemento para las pruebas A / B, pero Crazy Egg ofrece una versión completa que brinda más información, como clics basados ​​​​en diferentes fuentes de tráfico y desplazamiento, mostrando a los visitantes desplazándose hacia abajo en la imagen de la página. Las tarjetas de calor y clic proporcionadas por Visual Website Optimizer son un excelente comienzo y un excelente complemento para las pruebas A / B, pero Crazy Egg es mejor para la recopilación de datos a largo plazo.

más herramientas

Visual Website Optimizer proporciona otras cuatro herramientas gratuitas que se pueden utilizar con fines de prueba.

Analizador de páginas de aterrizaje

El analizador de páginas de destino proporciona una serie de preguntas sobre sus páginas de destino que conducen a un resultado final basado en varios elementos, como relevancia, motivación, llamado a la acción, eliminación de distracciones y reducción de fluctuaciones. También proporciona comentarios detallados, junto con sugerencias y sugerencias sobre cómo puede mejorar su página de destino después de completar una serie de preguntas que utilizan para analizar su página.

Calculadora del significado de la prueba

La calculadora de importancia de la prueba lo ayuda a calcular la importancia de la prueba en función de los resultados que obtenga. Esto se calcula con Google Content Experiments, Visual Website Optimizer y Optimize, pero si ejecuta sus propias pruebas manualmente, puede usar la calculadora de importancia de la prueba para verificar la importancia de sus resultados.

A / B zorro creativo

A / B Ideafox le permite buscar casos de desafío (venta, descarga, registro) o tipo de sitio. También puede utilizar la función de búsqueda para encontrar estudios de casos basados ​​en cada tipo de criterio que desee introducir. A/B Ideafox es un excelente lugar para obtener más información sobre CRO y buscar investigaciones que revelen posibles oportunidades de prueba en su sitio.

Calculadora de duración de la prueba

La cuarta y última herramienta es la Calculadora de duración de la prueba. Esta calculadora lo ayuda a determinar cuánto tiempo necesita ejecutar la prueba para obtener los resultados correctos. Es posible que haya iniciado una prueba en VWO para aumentar las conversiones en un 8%, pero es posible que no sepa cuánto tiempo llevará obtener los resultados correctos. La calculadora de duración de la prueba te ayudará a saber en función de la tasa de conversión existente, la mejora esperada, el número de combinaciones, el promedio de visitantes diarios y el porcentaje de visitantes incluidos en la prueba.

última nota de tráfico

Otra cosa a tener en cuenta es que el tráfico que recibe su sitio web determina cuánto tiempo necesita ejecutar sus pruebas para obtener resultados estadísticamente relevantes. Si su sitio web recibe mucho tráfico todos los días, obtendrá resultados relevantes más rápido que un sitio web que recibe una pequeña cantidad de tráfico todos los días.

Además, las diferencias más pequeñas en las tasas de conversión requieren que realice pruebas más largas. Si no tiene mucho tráfico y la diferencia entre los cambios es pequeña, es posible que deba ejecutar la prueba durante mucho, mucho tiempo. La buena noticia es que puede usar la calculadora de duración de la prueba anterior para estimar cuánto tiempo necesita ejecutar la prueba para obtener resultados significativos. También puede considerar encontrar formas de generar tráfico nuevo para identificar cambios rentables en menos tiempo.

Cuanto más tráfico tenga su sitio web, más rápido encontrará resultados estadísticamente significativos. Por el contrario, si el tráfico de su sitio web es demasiado bajo, llevará mucho tiempo determinar resultados estadísticamente significativos.

en conclusión

• Siempre debe realizar pruebas mientras la nueva opción tiene al menos un 95% de posibilidades de aumentar las conversiones.
• Su prueba debe durar al menos 7 días para garantizar resultados a largo plazo.
• El porcentaje de mejora del objetivo más importante del proyecto es más importante que cualquier otra cosa. Si su objetivo es generar más clientes potenciales, entonces debe basarse en el resultado de esta prueba, en lugar de hacer clic en su "Saber más" botón.
• Además del objetivo de determinar el ganador, se pueden perseguir otros objetivos, pero no debe basar el éxito o el fracaso de la prueba en estos resultados.
• Si tiene poco tráfico y un pequeño aumento en la tasa de conversión, debe ejecutar la prueba durante mucho tiempo. La calculadora de duración de la prueba le dará una idea de cuánto tiempo llevará ejecutar sus pruebas en función de las mejoras esperadas y el tráfico que recibe su sitio.