Cómo interpretar el resultado de una prueba sin precipitarte

01 / CONTEXTO

El número no habla solo

Antes de celebrar o descartar una prueba, necesito recordar qué esperaba observar. Un resultado depende de quién entró, qué cambió, cuándo medí, qué denominador usé y qué ocurrió fuera de la prueba. Si no registro esas condiciones, puedo contar una historia después de ver el número.

02 / CASO LOCAL

Lo que mostró una prueba de Daves

En una campaña de Daves comparamos anuncios dirigidos a contactos de nuestra base de clientes con anuncios dirigidos a personas seleccionadas por sus intereses. También encontramos problemas en la configuración que debía registrar las conversiones. Los clics y las visitas no se traducían automáticamente en ventas. Para interpretar aquella prueba necesitábamos comprobar tanto la medición como lo que pasaba después de que alguien mostrase interés [1].

Si vuelvo a leer el resultado, escribiría qué campaña recibió qué audiencia, qué acción se contó, qué ventas verificadas ocurrieron y qué otras acciones cambiaron. Un dato de plataforma puede orientar la investigación, pero no reemplaza el CRM ni la contabilidad.

03 / MECANISMO

Pasar de resultado a decisión

Yo usaría una hoja con hipótesis, intervención, grupo, periodo, métrica primaria, denominador, fuente, resultado, incertidumbre y acción. Separaría:

• Descripción: qué ocurrió.
• Comparación: frente a qué referencia.
• Explicación: qué mecanismos son plausibles.
• Decisión: qué cambio haré y qué volveré a medir.

Las herramientas de analítica registran acciones según cómo estén configuradas; un formulario puede contarse dos veces o una compra quedar sin registrar. Kaushik recomienda combinar los datos de navegación con resultados del negocio, pruebas, conversaciones con clientes e información del mercado [2].

04 / EJEMPLO

Tres lecturas de una misma caída

Ejemplo hipotético: una página recibe 1.000 visitas y 40 formularios, pero solo una compra. Puede fallar el precio, el seguimiento, la autoridad de los formularios o la medición de ventas. No diría que el copy convirtió mal sin comprobar quién recibió la oferta y qué ocurrió después.

Si entrevisto a cinco personas, descubro que tres no tenían autoridad y dos nunca recibieron respuesta. La decisión será mejorar seguimiento y segmentación, no necesariamente cambiar el mensaje. Si los formularios sí recibieron respuesta y rechazaron precio, el siguiente experimento será distinto. El número inicial no contenía esa explicación.

05 / APLICACIÓN

Cerrar el ciclo con una decisión

Al finalizar, guardaría la configuración, fechas, audiencia, cambios simultáneos y ventas verificadas. Escribiría una conclusión acotada: «en esta ventana observamos X bajo estas condiciones». Después elegiría continuar, ajustar, repetir o detener y fijaría qué señal resolvería la duda principal.

Compararía también margen y capacidad. Una campaña con más ventas puede empeorar el resultado si atrae pedidos poco rentables o sobrecarga la entrega. Una campaña con pocos clics puede descubrir un grupo que compra mejor. La métrica debe servir a una decisión, no a una captura de pantalla.

06 / LÍMITES

No toda variación tiene una causa identificable

Sin control, aleatorización o una comparación válida, no atribuiré el resultado a una sola intervención. Estacionalidad, audiencia, configuración, competencia y azar pueden cambiarlo. Las plataformas ofrecen definiciones útiles para implementar medición, pero no eliminan sesgos ni sustituyen una investigación de cliente.

07 / APRENDIZAJES

Qué me llevaría

• Definiría hipótesis y métrica antes de mirar el resultado.
• Revisaría denominador, ventana, configuración y ventas reales.
• Separaría descripción, explicación y causalidad.
• Cerraría cada prueba con una decisión y una duda siguiente.

08 / PREGUNTAS DETONANTES

Para no precipitarme

• ¿Qué conté exactamente y qué quedó fuera?
• ¿Cuál es el denominador y qué periodo observé?
• ¿Qué cambió a la vez?
• ¿Qué explicación alternativa debo comprobar?
• ¿Qué decisión concreta cambia este resultado?