Optimización de Campañas con A/B Testing y Analítica Avanzada

1.

1. Aumentar el tráfico general del sitio

2. Comparar dos versiones para determinar cuál ofrece mejor rendimiento en una métrica definida

3. Reducir el costo por clic de todas las campañas

4. Automatizar la gestión de pujas en anuncios

2.

1. Hay un 3% de probabilidad de que la hipótesis nula sea verdadera

2. Hay un 97% de probabilidad de que el efecto observado sea real

3. Hay un 3% de probabilidad de observar una diferencia tan extrema como la obtenida si la hipótesis nula fuera cierta

4. El tamaño del efecto es de 0.03

3.

Respuesta: ____________________________________________

4.

1. Aumenta el tamaño de muestra necesario

2. Disminuye la potencia estadística

3. Aumenta la probabilidad de obtener un falso positivo

4. Mejora la precisión de los resultados

5.

1. Los A/B tests siempre requieren una muestra más grande que las pruebas multivariantes

2. Las pruebas multivariantes siempre son superiores a los A/B tests

3. Las pruebas multivariantes comparan múltiples factores simultáneamente

4. Los A/B tests requieren muestras más grandes que las multivariantes

6.

1. El lift exacto es 2.35%

2. El test es estadísticamente significativo

3. El tamaño de muestra es insuficiente

4. Hay un 95% de probabilidad de que el verdadero lift esté entre 1.2% y 3.5%

7.

1. La probabilidad de rechazar la hipótesis nula cuando es verdadera (error tipo I)

2. La probabilidad de rechazar la hipótesis nula cuando es falsa

3. La probabilidad de aceptar la hipótesis nula cuando es falsa

4. El tamaño del efecto mínimo detectable

8.

Respuesta: ____________________________________________

9.

1. Ocultar un rendimiento deficiente en un segmento

2. Aumentar el tamaño de muestra general

3. Descubrir que ciertos grupos de usuarios responden de manera diferente a las variantes

4. Reducir la varianza de los resultados

10.

1. Incorpora información previa (prior) en el análisis

2. Utiliza valores p para tomar decisiones

3. No requiere datos observados

4. Siempre produce los mismos resultados que el enfoque frecuentista

11.

1. Prueba t de Student

2. Prueba de chi-cuadrado

3. ANOVA

4. Corrección de Bonferroni

12.

1. El valor p

2. El tamaño de muestra

3. El tamaño del efecto (por ejemplo, Cohen's d)

4. El nivel de confianza

13.

Respuesta: ____________________________________________

14.

1. Asignar aleatoriamente los usuarios a las variantes

2. Ejecutar el test durante un período fijo predefinido

3. Detener el test en cuanto el valor p es menor a 0.05

4. Definir una única métrica de éxito

15.

1. El ganador es claro

2. El test no fue correctamente aleatorizado

3. El tamaño de muestra es demasiado grande

4. El valor p es preciso

16.

1. Permanece igual

2. Disminuye

3. Aumenta

4. Se vuelve irrelevante

17.

1. Analizar los datos incluyendo y excluyendo los outliers

2. Eliminarlos siempre antes del análisis

3. Ignorarlos por completo

4. Reemplazarlos con la mediana

18.

Respuesta: ____________________________________________

19.

1. Un resultado estadísticamente significativo siempre tiene importancia práctica

2. Un efecto pequeño puede ser estadísticamente significativo con una muestra grande

3. La significancia práctica se determina únicamente con el valor p

4. La significancia estadística garantiza un efecto grande

20.

1. Detenerlo tan pronto como sea significativo

2. Ejecutarlo por un número fijo de días sin considerar ciclos de negocio

3. Ejecutarlo al menos durante un ciclo completo de negocio (por ejemplo, una semana completa)

4. Ejecutarlo por un número fijo de conversiones por variante