Significancia estadística en encuestas: ¿diferencia real?

Una diferencia entre dos resultados de encuesta es estadísticamente significativa cuando es mayor de lo que el muestreo aleatorio podría producir por sí solo. Para dos porcentajes, compruébalo con una prueba z de dos proporciones: divide la diferencia entre su error estándar y compara el resultado con 1.96, el umbral del 95 por ciento de confianza. Una subida del 58 al 64 por ciento con unas 400 respuestas por oleada da z = 1.79, que no llega.

Esta guía cubre el margen de error de un porcentaje, la prueba para comparar dos, las diferencias de NPS, los segmentos pequeños, las comparaciones múltiples y las preguntas que ninguna prueba puede resolver.

Qué significa la significancia estadística en los resultados de una encuesta

La significancia estadística responde a una pregunta concreta: si no hubiera ninguna diferencia real en la población, ¿con qué frecuencia aparecería una diferencia así solo por quiénes respondieron? Esa probabilidad es el valor p. Cuando está por debajo de 0.05, el resultado se considera significativo con un 95 por ciento de confianza.

No te dice si la diferencia es lo bastante grande como para importar, si la encuesta llegó a las personas adecuadas ni por qué existe la diferencia. Esas preguntas se tratan más abajo, y pesan más en la decisión que el valor p.

Margen de error de una proporción

El margen de error es el rango alrededor de un porcentaje que el muestreo aleatorio puede explicar. Para una proporción obtenida de una muestra aleatoria simple:

MOE = z × √( p × (1 − p) / n )

z = 1.96 para un 95% de confianza (1.645 para 90%, 2.576 para 99%)
p = la proporción que reportas, en decimal
n = respuestas completas a esa pregunta

Ejemplo resuelto: respondieron 500 clientes y el 62 por ciento dijo estar satisfecho.

p × (1 − p) = 0.62 × 0.38 = 0.2356
÷ n         = 0.2356 / 500 = 0.0004712
√           = 0.0217
× z         = 1.96 × 0.0217 = 0.0425   →   ±4.3 puntos

Intervalo del 95%: 57.7% a 66.3%

Repórtalo como «62 por ciento satisfechos (±4.3 puntos, n = 500)». La n es el número de personas que respondieron esa pregunta, no el número de invitados, y cada segmento tiene su propio margen, más amplio, porque su n es menor. La calculadora de margen de error hace este cálculo para cualquier muestra, y la guía de tamaño de muestra lo recorre al revés hasta el número de respuestas que necesitas. La entrada del glosario margen de error tiene la definición breve.

Cómo comparar dos porcentajes: la prueba z de dos proporciones

Para comparar porcentajes de dos grupos independientes (dos oleadas, dos regiones, dos planes), prueba la diferencia en sí. La prueba z de dos proporciones combina ambos grupos para estimar el ruido y luego calcula cuántos errores estándar separan los resultados:

p_pool = (x1 + x2) / (n1 + n2)
SE     = √( p_pool × (1 − p_pool) × (1/n1 + 1/n2) )
z      = (p2 − p1) / SE

x = personas que dan la respuesta, n = personas que responden la pregunta
|z| ≥ 1.96   →   significativo con un 95% de confianza (p < 0.05)

Ejemplo resuelto: una encuesta de pulso hace la misma pregunta de sí o no cada primavera y cada otoño.

En primavera, 232 de 400 empleados respondieron que sí (58 por ciento). En otoño, lo hicieron 288 de 450 (64 por ciento).

p1     = 232 / 400 = 0.580
p2     = 288 / 450 = 0.640
p_pool = (232 + 288) / (400 + 450) = 520 / 850 = 0.612
SE     = √( 0.612 × 0.388 × (1/400 + 1/450) )
       = √( 0.2375 × 0.004722 ) = √0.0011215 = 0.0335
z      = (0.640 − 0.580) / 0.0335 = 1.79

Una z de 1.79 está por debajo de 1.96, así que la subida de 6 puntos no es significativa con un 95 por ciento de confianza (valor p bilateral = 0.07). El intervalo del 95 por ciento para el cambio, con el error estándar sin combinar √(p1(1 − p1)/n1 + p2(1 − p2)/n2) = 0.0335, es de 6 ± 6.6 puntos: de −0.6 a +12.6. La mayor parte de ese rango es positiva, pero incluye la posibilidad de que no haya cambio. El resumen honesto es «sube 6 puntos, dentro de lo que puede producir el ruido del muestreo; lo volveremos a comprobar en la próxima oleada».

La misma diferencia de 6 puntos con 1,500 respuestas en cada oleada da z = 3.37 (p < 0.001). El tamaño de la muestra es lo que eleva una diferencia real por encima del ruido. Cuando los dos grupos tienen un tamaño parecido, el margen de error de la diferencia es aproximadamente 1.4 veces el margen de cada porcentaje.

Que los intervalos se solapen no es la prueba

Dos márgenes de error que se solapan no demuestran que una diferencia sea ruido. Con 1,000 respuestas en cada grupo, 50.0 por ciento (intervalo de 46.9 a 53.1) y 54.5 por ciento (intervalo de 51.4 a 57.6) se solapan, pero la prueba z da z = 2.01 y p = 0.044, una diferencia significativa. Prueba la diferencia; no la juzgues a ojo a partir de dos intervalos.

Comparar el NPS entre dos grupos

El Net Promoter Score tiene un margen más amplio que un porcentaje simple porque resta una proporción de otra. Con P y D como las proporciones de promotores y detractores, en decimal:

SE(NPS)  = √( (P + D − (P − D)²) / n )
SE(diff) = √( SE_A² + SE_B² )
z        = (NPS_A − NPS_B) / SE(diff)        NPS en decimal: 25 → 0.25

Dos tiendas hacen la pregunta estándar después de cada compra.

La tienda A tiene 300 respuestas, 45 por ciento de promotores (9 o 10) y 20 por ciento de detractores (0 a 6), así que su NPS es 25. La tienda B tiene 250 respuestas, 38 por ciento de promotores y 24 por ciento de detractores, así que su NPS es 14.

SE_A     = √( (0.45 + 0.20 − 0.25²) / 300 ) = √( 0.5875 / 300 ) = 0.0443
SE_B     = √( (0.38 + 0.24 − 0.14²) / 250 ) = √( 0.6004 / 250 ) = 0.0490
SE(diff) = √( 0.0443² + 0.0490² ) = 0.0660
z        = 0.11 / 0.0660 = 1.67

Una diferencia de 11 puntos de NPS con estas muestras no es significativa (p = 0.10), y el intervalo del 95 por ciento para la diferencia va de unos −2 a +24 puntos. El NPS de cada tienda tiene por sí solo un margen de unos ±9 puntos.

Por qué engañan los segmentos pequeños

Los segmentos pequeños producen las cifras más llamativas y las menos fiables. Supón que 15 de 18 personas de un equipo están satisfechas y 13 de 22 en otro. Una diferencia de 24 puntos parece un hallazgo:

Los rangos se solapan mucho, y la prueba exacta de Fisher, la adecuada para recuentos tan pequeños, da p = 0.17 para la diferencia. No es significativa. De todos modos, la prueba z no es fiable aquí: una regla práctica habitual pide al menos 10 personas con cada respuesta en cada grupo, y el equipo A solo tiene 3 que no están satisfechas. Para recuentos pequeños, usa la prueba exacta de Fisher y los intervalos de Wilson.

Los grupos pequeños también se amontonan arriba y abajo de cualquier clasificación, porque sus porcentajes oscilan más. En una tabla de 20 equipos, la mejor y la peor puntuación suelen ser de los equipos más pequeños. Cuando construyes una tabulación cruzada, cada celda es su propia muestra pequeña. Tres hábitos te protegen:

1. Pon la n junto a cada porcentaje de segmento.
2. Fija un tamaño mínimo de grupo antes de abrir los resultados, y atenúa o agrupa los grupos que no lo alcancen.
3. Trata un resultado llamativo de un grupo pequeño como una pregunta para la próxima oleada o para una conversación, no como una conclusión.

Comparaciones múltiples: prueba 20 diferencias y probablemente una parecerá real

Cada prueba con un 95 por ciento de confianza tiene un 5 por ciento de probabilidad de falsa alarma, y esas probabilidades se acumulan. Si comparas 20 segmentos o preguntas independientes en los que en realidad no hay diferencias, la probabilidad de que al menos uno muestre una diferencia «significativa» es del 64 por ciento.

La segunda columna es 1 − 0.95^k para k pruebas independientes. Tres formas de mantener las falsas alarmas fuera del informe:

1. Decide las comparaciones antes de ver los datos y escríbelas en el plan de análisis. Todo lo demás es exploración.
2. Cuando hagas muchas pruebas, endurece el umbral. Bonferroni divide 0.05 entre el número de pruebas; para 20 pruebas, eso es p < 0.0025, o |z| ≥ 3.02. El método de Holm es una versión escalonada menos estricta, y Benjamini-Hochberg controla la tasa de falsos descubrimientos, lo que encaja con listas exploratorias largas.
3. Trata un hallazgo no planificado como una hipótesis y compruébalo en la próxima oleada antes de actuar.

Significancia práctica frente a significancia estadística

La significancia estadística dice que una diferencia probablemente no es ruido; no dice que la diferencia importe. Con 40,000 respuestas en cada grupo, un 71 por ciento frente a un 72 por ciento da z = 3.13 y p = 0.002: significativo, y casi con seguridad irrelevante para cualquier decisión. En sentido contrario, una diferencia de 15 puntos en un piloto de 40 personas puede no superar la prueba y aun así merecer una mirada más atenta.

Decide antes del análisis qué tamaño de cambio te haría actuar, por ejemplo «5 puntos en carga de trabajo», y luego lee cada resultado frente a las dos pruebas:

Reporta la diferencia con su intervalo («sube 6 puntos, intervalo del 95 por ciento de −0.6 a +12.6») en lugar de un simple «significativo» o «no significativo», para que quien lo lea pueda juzgar las dos cuestiones a la vez. La guía para presentar resultados de encuestas muestra cómo llevar esto a un gráfico.

Cuándo una encuesta no puede responder la pregunta

Algunas preguntas quedan fuera de lo que cualquier prueba sobre datos de encuesta puede resolver, por muchas respuestas que tengas.

• Una encuesta no puede mostrar por qué ocurrió algo. Puede mostrar que los clientes que usaron el chat en vivo están más satisfechos, pero quizá los clientes satisfechos son simplemente los que se molestan en usar el chat. Para probar una causa, cambia una sola cosa para una mitad elegida al azar y compara, como en una prueba A/B.
• No puede corregir el sesgo de quienes no respondieron. Todas las fórmulas de esta página suponen una muestra aleatoria. Si respondió el 12 por ciento de los clientes y son los más comprometidos, el sesgo puede ser mayor que el margen de error, y ninguna prueba lo detecta. Compara a quienes respondieron con la lista completa en los campos que ya tienes (plan, región, antigüedad) y limpia los datos antes de probar nada.
• No tiene nada que probar cuando respondió todo el mundo. Si respondieron las 85 personas de un equipo, no hay error de muestreo: la diferencia entre dos grupos es la que es. Lo que queda por decidir es si es lo bastante grande para actuar y si se mantiene.
• No puede separar un cambio real de un cambio de método. Si la redacción, el canal o el público cambiaron entre oleadas, la diferencia mezcla ambas cosas.
• No mide bien los sucesos raros. Algo que afecta al 1 por ciento de las personas aparece en unas 3 de 300 respuestas. Usa datos operativos en su lugar.
• No garantiza el comportamiento. La intención declarada de comprar, renovar o irse predice mal lo que la gente hace, así que contrástala con lo que hicieron después.

Errores comunes

• Decir que algo «sube» o «baja» sin una prueba. Haz la prueba z o muestra el intervalo de la diferencia.
• Juzgar una diferencia según si dos márgenes se solapan. Prueba la diferencia directamente.
• Reportar porcentajes de segmentos de una docena de personas. Muestra la n, fija un mínimo y agrupa los grupos pequeños.
• Probar cada celda de una tabulación cruzada y reportar las que salieron significativas. Planifica las comparaciones o corrige por pruebas múltiples.
• Tratar p < 0.05 como «importante». Indica el tamaño de la diferencia y si supera tu umbral de acción.
• Usar el número de invitados como n. Usa el número de personas que respondieron la pregunta.
• Tratar una encuesta abierta de participación voluntaria como una muestra aleatoria. Di qué muestra es y qué no puede representar.

Cómo hacerlo en Claform

La calculadora de margen de error y la calculadora de tamaño de muestra aplican las fórmulas de esta página, incluida la corrección por población finita para poblaciones pequeñas. En el AI Analyst, disponible en el plan Professional y superiores, la comparación por pregunta divide cada medida según una pregunta, como la ubicación o el plan, etiqueta los grupos pequeños y no muestra los grupos con menos de diez respuestas. Un análisis profundo calcula pruebas de chi cuadrado, pruebas t, ANOVA y correlaciones corregidas por pruebas múltiples, reporta tamaños del efecto con intervalos del 95 por ciento y señala las muestras pequeñas antes de redactar las recomendaciones, cada una de las cuales enlaza con el estadístico en el que se basa.

Preguntas frecuentes

¿Qué valor p se considera significativo en una encuesta?

Por convención, p < 0.05, que corresponde a un 95 por ciento de confianza. Es una convención, no una ley. Usa 0.01 cuando una falsa alarma salga cara o cuando hagas muchas pruebas, y trata los resultados entre 0.05 y 0.10 como algo a vigilar, no como hallazgos. Reporta siempre el tamaño de la diferencia junto al valor p.

¿Cuántas respuestas necesito para detectar una diferencia entre dos grupos?

Más que para una estimación simple. Para detectar un cambio del 58 al 64 por ciento con un 95 por ciento de confianza y un 80 por ciento de potencia, es decir, un 80 por ciento de probabilidad de detectar una diferencia real de ese tamaño, necesitas unas 1,034 respuestas por grupo. Reducir a la mitad la diferencia que quieres detectar multiplica la muestra aproximadamente por cuatro.

¿Puedo usar una prueba t con los promedios de una escala de valoración?

Sí. Para comparar valoraciones medias entre dos grupos, la prueba t de Welch es la opción habitual, y con unas pocas decenas de respuestas por grupo funciona bien con datos de escalas de cinco puntos. Reporta también la distribución o el porcentaje top-two-box, porque medias iguales pueden ocultar distribuciones muy distintas. Para tres grupos o más, usa ANOVA.

¿Es significativo un cambio de 5 puntos en el NPS?

Normalmente no, salvo que las dos muestras sean grandes. El NPS resta una proporción de otra, así que su margen de error es más amplio que el de un porcentaje simple: unos ±9 puntos con 300 respuestas y un NPS de 25. Usa la fórmula del error estándar del NPS de esta página, o prueba por separado las proporciones de promotores y de detractores.

¿Qué diferencia hay entre el margen de error y la significancia estadística?

El margen de error describe la incertidumbre en torno a un resultado. Una prueba de significancia pregunta si la diferencia entre dos resultados es mayor que la incertidumbre combinada de ambos. La diferencia tiene su propio margen, más amplio, así que compara dos resultados con una prueba y no comprobando si sus márgenes individuales se solapan.

Empieza a crear gratis