9 preguntas para entender todo sobre el AB Test

¿Qué es el AB Test?

El AB test es una metodología de experimentación y medición en la que pones a prueba dos o más variables de una idea. Tus variables se exponen a dos o más grupos homogéneos de personas, para entender cuál de ellas puede acercarte más a tu resultado esperado. 

Esta metodología se ha hecho muy popular en los últimos años, principalmente por dos razones. La primera, es que la mayoría de las compañías tecnológicas más populares se han apalancado en este método para hacer Growth Hacking. Y la segunda es que cada vez más herramientas de marketing (como Mailchimp, Braze, Hubspot, Google Ads, Facebook Ads) facilitan la forma de ejecutarlas

¿Cuál es el origen del AB test?

Aunque te parezca una sorpresa el AB test es muy antiguo. Lo que pasa es que su aplicación y popularización en el mercadeo ha sido reciente. 

Una de las primeras personas en documentar la metodología (sin llamarla AB Test) fue James Lind, un cirujano británico que en 1753 puso a prueba seis tratamientos para el escorbuto en grupos aleatorios de pacientes.

Las primeras referencias del AB Test para usos comerciales las encontramos en 1907, con William S. Gosset, quien trabajaba para la reconocida cervecera Guiness y creó un método llamado el “Student’s T Test” para extrapolar los resultados de muestras estadísticamente significativas. 

En 1923 el autor Claude Hopkins (uno de los creadores de la publicidad) escribió el libro Scientific Advertising, en el que difundió un método en el que diferentes variables de una campaña publicitaria se podrían poner a pruebas en muestras de clientes para decidir cuál tendría un mayor impacto. 

¿Dónde utilizar el AB test?

Puedes utilizar A/B test para medir casi cualquier cosa, desde la efectividad de un asunto de correos electrónicos hasta el impacto que genera en tus ventas un cambio de precios. Realmente son muy pocos los casos en los que este método no te será útil. Algunas de las cosas que podrás medir haciendo AB Test son:

  1. El impacto de una línea de asunto en la apertura de un correo electrónico
  2. El impacto de un cupón en la tasa de conversión de tu e-commerce
  3. El impacto de una texto (o copy) en el porcentaje de clics de un botón.
  4. El impacto de un precio en las probabilidades de compra de tus clientes.
  5. El impacto de los reviews en las conversiones de tu negocio.
  6. El impacto de un diseño en la efectividad de tu anuncio.
  7. El impacto de la segmentación en la efectividad de tus anuncios.
  8. El impacto del tiempo de respuesta en la satisfacción de tus clientes.
  9. El impacto de una oferta en la tasa de retención de tus clientes.
  10. El impacto de un diseño de interfaz en tu tasa de conversión a leads.

Como ves, son muchos los ejemplos y la lista podría seguir casi de forma indefinida. Lo importante es que tengas claro cuál es la variable que quieres probar y el resultado por el que lo vas a medir.  

¿Cuando no es una buena idea hacer un AB Test?

Cuando tienes factores externos de peso que afecten los resultados

Asegúrate de evaluar que el contexto en el que estás ejecutando tu AB test esté apartado de otras variables que puedan hacer que tu experimento fracase. Evita hacer test en medio de grandes ofertas, crisis reputacionales de tu marca o test sobre grupos que ya están siendo expuestos a otro tipo de test. 

La razón por la que esto es importante, es porque en medio de situaciones como estas es imposible que aisles el efecto que tienen estos otros elementos sobre los resultados de tu experimento y el comportamiento de tus clientes. 

Cuando tu base de usuarios está altamente comunicada y conectada

Como verás a continuación, uno de los pasos fundamentales para hacer un AB Test es separar los grupos de usuarios que estarán expuestos a las distintas variables. Sin embargo, esto no tiene sentido cuando tus clientes son personas altamente comunicadas e interconectadas entre sí. 

Aunque no es muy común encontrar negocios que tengan una base de usuarios con estas características, es importante que valores esta condición antes de correr un experimento. A continuación te comparto algunos de los tipos de compañías en los que se suelen ver estas características.

  1. Apps de economía colaborativa como Uber / Rappi / Glovo. Generalmente los conductores y repartidores de estas aplicaciones están altamente conectados. Si ofreces un beneficio exclusivo para un grupo, es probable que el resto se entere y distorsione los resultados de tu experimento.
  1. Cualquier compañía que quiera experimentar con sus empleados. Los empleados comparten todo tipo de información entre sí. Es difícil que puedas experimentar una variable sin que los demás lo sepan.
  1. Compañías enfocadas al segmento B2B en industrias de nicho. Cuando le vendes a este tipo de empresas, por los pocos competidores que hay en el mercado, fácilmente una empresa termina sabiendo lo que le estás ofreciendo a la otra. Esto sucede especialmente cuando son industrias agremiadas en los que hay un alto nivel de conexión y comunicación entre los directivos de distintas compañías.
  1. Compañías con una alta exposición mediática. Si el experimento que estás tratando de poner a prueba es susceptible de causar revuelo o conversación en medios de comunicación y tu empresa está altamente expuesta, es probable que un AB Test no sea la mejor idea. Es probable que rápidamente lo que estás tratando de probar con un selecto grupo de usuarios, se convierta en un tema de dominio público y afecte los resultados de tu experimento.  

¿Cómo se hace un AB Test?

Para hacer un AB Test debes primero formular una hipótesis, definir las variables con las que vas a probar tu hipótesis, tener claro los indicadores con la vas a medir y elegir un grupo de usuarios controlado para lanzar tu ab test. Cada paso tiene unos requisitos mínimos necesarios de los cuales depende tu éxito con la metodología. 

Formula una hipótesis 

El paso fundamental para iniciar un AB Test es tener una hipótesis clara. Es decir, una idea de algo que puede tener un impacto positivo en tu negocio. Idealmente, las hipótesis deben estar fundamentadas en la observación y análisis de lo que hacen tus clientes. 

Por ejemplo, si has analizado que la mayoría de tus clientes desertan del carrito de compras cuando visitan tu sitio web desde un teléfono móvil, puedes formular una hipótesis como la siguiente:

“Facilitar el proceso de compra disminuyendo el tiempo y esfuerzo para completar una transacción aumentará nuestras ventas”. 

Define tus variables

Ahora que tienes tu hipótesis, define con qué variable la vas a poner a prueba. Para el ejemplo de este post,  usaremos una variable que es el número de campos en el formulario de compra de nuestro sitio web. En la variable A, eliminaremos el campo “Teléfono”. En la variable B eliminaremos el campo “Dirección”. Y en el grupo control, dejaremos el formulario tal y como está. 

Define cómo vas a medir tu AB Test 

Ahora que tienes tu hipótesis clara, debes definir los indicadores con los que identificarás si tu hipótesis es acertada o no. Pueden ser una o varias métricas. Lo importante es que conserven relación con las variables que estamos modificando. La métrica de nuestro ejemplo será la “Tasa de conversión a compra”. 

Elige los grupos para tu experimento

Aunque generalmente las herramientas de marketing te ofrecen una forma confiable para distribuir tus variables a grupos aleatorios, es posible que en algún momento sea tú mismo quien tiene que elegir los grupos de forma manual. Al hacerlo, asegúrate de que las  características de estos grupos son homogéneas y de que ambos son estadísticamente representativos.

Lanza y mide

Ya tienes todo listo para lanzar tu AB Test. Ponlo en marcha y monitorea constantemente la evolución de los grupos de tu experimento. Cuando haya finalizado el tiempo del experimento o consideres que tienes datos suficientes para sacar una conclusión, analiza los resultados y aplica la variable más efectiva.  

¿Cuáles son los errores más comunes que se cometen al hacer AB Test?

Realizarlo en condiciones diferentes

Este es el error más común que he visto. Consiste en poner a prueba dos variables diferentes en momentos diferentes. Una de las reglas para que puedas sacar conclusiones sólidas de tu AB test es que las condiciones bajo las cuales se realizó la prueba en los dos grupos sean las mismas. 

Es frecuente encontrar AB Test que se realizan en horas, días o semanas distintas. Algo que afecta significativamente los resultados. Por ejemplo, si lanzas al grupo A un cupón de descuento del 15% en una semana y al grupo B un cupón de descuento del 20% en la semana siguiente, ¿cómo puedes estar seguro de que el cambio de semana no afectó los resultados? Puede que una semana haya un factor externo que influya en tus conclusiones, como por ejemplo lo cerca o lejos que está la fecha en la que tus clientes reciben su sueldo. 

Evita al máximo este error o terminarás realizando experimentos que te llevarán a conclusiones incorrectas.  

Realizarlo con grupos hetereogéneos

Si haces un AB Test con dos o más grupos de clientes, debes asegurarte de que las condiciones de esos clientes son similares. Fíjate en las variables demográficas y transaccionales de esos clientes para asegurarte de que entre ambos grupos son prácticamente iguales. Revisa factores como:

  • El porcentaje de hombres vs el porcentaje de mujeres
  • El porcentaje de participación de distintos segmentos de edad en cada uno de los grupos. 
  • El ticket promedio de cada uno de los grupos
  • El engagement de cada uno de los grupos con tu sitio web, correos electrónicos, etc.
  • El tiempo promedio de cada uno de los grupos desde su última transacción.
  • El número promedio de transacciones por usuario que hay en cada grupo. 

Ya he tenido experiencias en los que los resultados de un experimento están sesgados porque no hicimos una cuidadosa revisión de estas variables. Créeme, es un paso fundamental para que te asegures de que estás haciendo un AB Test confiable.

No tener un grupo control

Tener un grupo control, es decir, un grupo que no está expuesto a ninguna de las variables, es clave para que puedas medir el impacto real de tus iniciativas. 

Supongamos que estás probando el impacto que tiene poner en tu e-commerce eliminar el costo de envío vs un costo de envío a mitad de precio. Y tus resultados son los siguientes

  • Envío gratuito: 1.5% de conversión a venta.
  • Envío a mitad de precio: 1.3% de conversión a venta.
  • Grupo control, sin cambio en el costo de envío: 1.45% de conversión a venta. 

Si hicieras este experimento sin un grupo control, probablemente correrías a quitar el costo de envío en tu e-commerce. Sin embargo, el grupo control te muestra que es muy poca la diferencia en la tasa de conversión entre tener costo de envío normal y no tenerlo. Y que probablemente, es más el dinero que pierdes por no cobrar el envío que los clientes que ganas. 

No monitorear los resultados con el paso del tiempo 

Especialmente en negocios de recurrencia es fundamental medir los resultados en el mediano y largo plazo. Por ejemplo, si trabajas para un negocio que funciona bajo el modelo de suscripción (como un gimnasio, una app de streaming, o una guardería para mascotas) es posible que quieras experimentar las ventajas y desventajas de un modelo de suscripción mensual, vs trimestral, semestral o anual. 

Probablemente encuentres que el ofrecer un modelo mensual te traiga más clientes que un modelo trimestral o semestral. Sin embargo, es fundamental que monitorees qué pasa con esos clientes a lo largo del tiempo. ¿Tienen mejor tasa de retención? ¿Estos clientes te dejan más o menos dinero que los otros? ¿Su uso de tu servicio es mayor o menor?

No solo se trata de medir los resultados en el tiempo, sino también medir posibles efectos colaterales que pudo traer cada variable, para que concluyas de una forma más integral cuál de todas ellas es la mejor para tu negocio. 

Testear cosas insignificantes

Aunque cualquier cosa es susceptible de un AB test te recomendaría que no pierdas el tiempo experimentando con cosas tan pequeñas. Por ejemplo, si tienes un botón en tu sitio web que dice “Empieza ya”, no pierdas el tiempo haciendo un AB Test en el que tu otra variable diga “Comienza ya” o “Empieza ahora”. Prueba otras cosas, como por ejemplo cambiar el llamado a la acción por un “Comienza gratis”. 

Modificar más de una variable

Un error que también he encontrado con frecuencia es que en medio del AB test se modifica más de una variable. Por ejemplo, en un experimento para un correo electrónico no solamente se modifica el asunto del correo, sino también el contenido del correo. 

Al hacer esto, estás perdiendo la noción de qué impacto tuvo cada uno de los cambios y no podrás llegar a una conclusión contundente. De hecho, este tipo de experimento se conoce como test multivariable y no como un AB Test

¿Cuánto tiempo debe durar un AB Test?

El periodo de duración de tu AB Test puede cambiar según el tipo de variable que estás midiendo y el tipo de negocio en el que lo estás aplicando. Por lo tanto, no existe un periodo ideal y el tiempo deberá ser el necesario para poder sacar una conclusión confiable.

¿Cómo saber cuál es el tiempo necesario? Pues depende del comportamiento de tus clientes y del indicador con el que está midiendo tu experimento. A continuación te daré un par de ejemplos para que entiendas a qué me refiero.

Supongamos que estás probando el asunto de un correo electrónico. Los datos nos dicen que entre el 80% y el 90% de las aperturas de un correo se dan en sus primeras 24 horas después de ser enviados. Pues en este caso, 24 horas sería más que suficiente para correr un AB Test.

Por otro lado, tu experimento podría estar diseñado para medir la tasa de retención de tus clientes. En este caso tendrás que analizar en qué periodo de tiempo se normaliza tu tasa de retención. Por ejemplo, se ha conocido que el servicio de streaming de Disney Plus de alrededor del 70% al cabo de un año y que su “pérdida” de clientes se normaliza a partir del mes 8. 

Si Disney+ quisiera impactar su tasa de retención con una tarifa más baja, tendría sentido que corra un AB Test con un grupo controlado de usuarios durante mínimo 8 meses. 

¿Cómo seleccionar el tamaño de mis grupos A, B y mi grupo control?

Existen distintos métodos estadísticos para calcular el tamaño de tus muestras a la hora de ejecutar un AB Test. Sin embargo, yo no soy estadístico, ni pretendo fingir que sé perfectamente cómo funcionan estas fórmulas. Por el contrario, lo que te sugiero es que consultes a alguien con conocimientos estadísticos en tu equipo. O si no tienes alguien así, que uses la calculadora de  AB Tasty  que es bastante práctica y fácil de usar. 

¿Cómo hacer AB Test en las principales plataformas de marketing?

¡Ahora sí, vamos a la práctica! Seguro que si eres un marketero digital vas a querer aplicar estos conocimientos en algunas de las plataformas que más usas. Te comparto algunos de mis videos favoritos, en los que podrás entender cómo aplicar este método en diferentes plataformas.  

Facebook Ads

Google Ads

Google Optimize

Hubspot