Optimización de Campañas con A/B Testing y Analítica Avanzada
Nombre: ___________________________
Fecha: ____________________________
Puntaje: __________________________
1.
¿Cuál es el objetivo principal de un A/B test?
Aumentar el tráfico general del sitio
Comparar dos versiones para determinar cuál ofrece mejor rendimiento en una métrica definida
Reducir el costo por clic de todas las campañas
Automatizar la gestión de pujas en anuncios
2.
En un A/B test, un valor p de 0.03 significa que:
Hay un 3% de probabilidad de que la hipótesis nula sea verdadera
Hay un 97% de probabilidad de que el efecto observado sea real
Hay un 3% de probabilidad de observar una diferencia tan extrema como la obtenida si la hipótesis nula fuera cierta
El tamaño del efecto es de 0.03
3.
Calcula el tamaño de muestra necesario por variante para un A/B test donde la tasa de conversión actual es del 10%, se desea un margen de error del 1% y un nivel de confianza del 95% (Z=1.96). Utiliza la fórmula n = (Z^2 * p * (1-p)) / E^2 y redondea el resultado al entero más cercano. Responde solo con el número.
Respuesta: ____________________________________________
4.
¿Por qué es problemático echar un vistazo (peeking) a los resultados de un A/B test antes de alcanzar el tamaño de muestra planeado?
Aumenta el tamaño de muestra necesario
Disminuye la potencia estadística
Aumenta la probabilidad de obtener un falso positivo
Mejora la precisión de los resultados
5.
Acerca de las pruebas multivariantes en comparación con los A/B tests, ¿cuál afirmación es correcta?
Los A/B tests siempre requieren una muestra más grande que las pruebas multivariantes
Las pruebas multivariantes siempre son superiores a los A/B tests
Las pruebas multivariantes comparan múltiples factores simultáneamente
Los A/B tests requieren muestras más grandes que las multivariantes
6.
En un A/B test, el intervalo de confianza del 95% para el lift en la tasa de conversión es [1.2%, 3.5%]. ¿Qué interpretación es correcta?
El lift exacto es 2.35%
El test es estadísticamente significativo
El tamaño de muestra es insuficiente
Hay un 95% de probabilidad de que el verdadero lift esté entre 1.2% y 3.5%
7.
¿Qué representa la potencia estadística en un A/B test?
La probabilidad de rechazar la hipótesis nula cuando es verdadera (error tipo I)
La probabilidad de rechazar la hipótesis nula cuando es falsa
La probabilidad de aceptar la hipótesis nula cuando es falsa
El tamaño del efecto mínimo detectable
8.
En un A/B test, la versión A tuvo 120 conversiones de 4000 visitantes. ¿Cuál es la tasa de conversión en porcentaje? Redondea a un decimal y responde solo el número sin el símbolo de porcentaje.
Respuesta: ____________________________________________
9.
Al segmentar los resultados de un A/B test por tipo de dispositivo, ¿cuál es el principal beneficio?
Ocultar un rendimiento deficiente en un segmento
Aumentar el tamaño de muestra general
Descubrir que ciertos grupos de usuarios responden de manera diferente a las variantes
Reducir la varianza de los resultados
10.
¿Cuál de las siguientes es una característica del enfoque bayesiano en A/B testing?
Incorpora información previa (prior) en el análisis
Utiliza valores p para tomar decisiones
No requiere datos observados
Siempre produce los mismos resultados que el enfoque frecuentista
11.
Cuando se ejecutan múltiples A/B tests simultáneamente, ¿qué corrección se usa comúnmente para controlar la tasa de falsos positivos?
Prueba t de Student
Prueba de chi-cuadrado
ANOVA
Corrección de Bonferroni
12.
¿Qué métrica mide la magnitud de la diferencia entre dos variantes en un A/B test?
El valor p
El tamaño de muestra
El tamaño del efecto (por ejemplo, Cohen's d)
El nivel de confianza
13.
¿Cuántas versiones (incluyendo control) son necesarias como mínimo para realizar un A/B test clásico? Responde con el número.
Respuesta: ____________________________________________
14.
¿Cuál de las siguientes prácticas invalida un A/B test?
Asignar aleatoriamente los usuarios a las variantes
Ejecutar el test durante un período fijo predefinido
Detener el test en cuanto el valor p es menor a 0.05
Definir una única métrica de éxito
15.
Si en un A/B test la asignación de usuarios no es 50/50 como se esperaba, ¿qué problema se sospecha?
El ganador es claro
El test no fue correctamente aleatorizado
El tamaño de muestra es demasiado grande
El valor p es preciso
16.
A medida que el efecto mínimo detectable (MDE) disminuye, el tamaño de muestra requerido:
Permanece igual
Disminuye
Aumenta
Se vuelve irrelevante
17.
¿Cómo se recomienda manejar los valores atípicos (outliers) en el análisis de un A/B test?
Analizar los datos incluyendo y excluyendo los outliers
Eliminarlos siempre antes del análisis
Ignorarlos por completo
Reemplazarlos con la mediana
18.
¿Cuál es el nivel de significancia más utilizado en A/B testing? Responde con el número decimal (por ejemplo, 0.05).
Respuesta: ____________________________________________
19.
¿Cuál de las siguientes afirmaciones sobre significancia estadística y significancia práctica es correcta?
Un resultado estadísticamente significativo siempre tiene importancia práctica
Un efecto pequeño puede ser estadísticamente significativo con una muestra grande
La significancia práctica se determina únicamente con el valor p
La significancia estadística garantiza un efecto grande
20.
¿Cuál es una buena práctica respecto a la duración de un A/B test?
Detenerlo tan pronto como sea significativo
Ejecutarlo por un número fijo de días sin considerar ciclos de negocio
Ejecutarlo al menos durante un ciclo completo de negocio (por ejemplo, una semana completa)
Ejecutarlo por un número fijo de conversiones por variante