La publicación de hoy sobre el tamaño de la muestra tiene como invitado a Gary Angel, Gary fue cofundador de Semphonic y es presidente y director de tecnología. Puede leer más artículos de Gary en el Blog de Semphonic.
Recién terminamos nuestra conferencia anual de análisis web – Web Analytics X Change. La conferencia fue poco usual, ya que se realizaron discusiones en grupos pequeños con empresarios profesionales. Es un formato excelente para escuchar lo que en realidad molesta a las personas. Como parte de la conferencia, QuestionPro participó en una sesión enfocada a la investigación a través de encuestas online y a la integración del comportamiento en línea. Uno de los temas que se debatieron con mayor intensidad fue el tamaño de la muestra necesaria cuando se aplican encuestas en linea.
Es un gran problema porque muchas organizaciones realizan diferentes encuestas en linea como indicadores y no desean sufrir del “síndrome del principio de incertidumbre”, lo que afecta de manera adversa a la experiencia de usuario que están tratando de medir.
¿Cuántos encuestados son suficientes realmente?
Hay dos escuelas de pensamiento sobre el tamaño de la muestra; una dice que, siempre y cuando una encuesta sea representativa, un tamaño pequeño es relativamente adecuado. Tal vez 300-500 encuestados pueda funcionar. El otro punto de vista dice que, aunque mantener una muestra representativa es esencial, entre más encuestados mejor.
Esto puede significar un gran impacto para todo tipo de decisiones, incluyendo el tamaño de una encuesta, el método de recolección, y por supuesto, la tasa de muestreo.
Quizá te interese leer: ¿Cómo identificar a tus encuestados?
¿Entonces cuál es la opción correcta?
Si no estás integrando los datos de tu encuesta con los datos de comportamiento en Internet, entonces un tamaño de muestra relativamente pequeño podría funcionar (me gustaría enfatizar el podría). Sin embargo, si combinas el análisis del comportamiento y los datos de la encuesta, entonces puedes olvidarte de los 300 o 500 encuestados. Esas cantidades simplemente no funcionarán.
Me gustar gustaría darte un ejemplo real que demuestre por qué esto es cierto, estamos trabajando en este momento con un cliente que tiene un muestreo aproximado de 1000 visitas al sitio al mes para su encuesta de satisfacción. Nos pidieron hacer un estudio del impacto del uso de una de dos herramientas de búsqueda internas en su sitio, tanto para satisfacción general del sitio como para el éxito en visitas.
En este sitio, la búsqueda se utiliza en casi 10% de sus visitas, debido a que el sitio obtiene más de 10 millones de visitas al mes; esto nos brinda una enorme cantidad de comportamientos a estudiar, más de 1 millón de visitas de búsqueda cada mes. No tenemos problemas con eso.
Sin embargo, la muestra de nuestro representante sólo capturó aproximadamente a 100 encuestados que usaron la búsqueda.
Entre las dos herramientas de búsqueda, una brindó servicio para el 70% de las consultas. Así que, para la segunda herramienta, tuvimos que tratar con alrededor de 30 encuestados. ¿Se entiende lo que trato de decir?
Para nuestro análisis, queríamos dar seguimiento de la razón de la visita vs. la satisfacción vs. los resultados de los buscadores. Con algunas respuestas sobre razones de la visita solamente representado alrededor de 10% de las visitas, había casos en los que se suponía que teníamos que analizar los resultados de 3 visitas.
Y eso es, con un tamaño de encuesta de 1000 y una tabulación cruzada relativamente simple de intención de visita, un comportamiento bastante común. Claro, podríamos agregar más meses a la representación. Pero dar seguimiento sobre comportamiento en períodos extendidos de tiempo añade todo tipo de complicaciones al análisis. La combinación de temporada del año, cambio de sitio y cambio macroeconómico hace esto peligroso. Muy pocos sitios de nuestros clientes permanecen constantes por seis meses.
Si hacer análisis de comportamiento con 1000 encuestados es difícil, imagine con un muestreo de 300, sería imposible.
¿Entonces, cuál es la opción correcta?
Si yo pudiera elegir, recomendaría que los sitios de alto volumen se esfuercen por obtener un tamaño de muestra más alto, alrededor de 15 mil sería muy bueno sobre una base mensual.
¿Es eso demasiada carga para su experiencia de usuario? Obviamente, la respuesta depende del volumen de su sitio y las tasas de aceptación y finalización de encuestas.
No se puede hacer mucho respecto a volumen; pero, si el tamaño de la encuesta está teniendo un impacto en las tasas de aceptación y finalización, entonces yo estaría dispuesto a sacrificar una gran cantidad de preguntas para llegar a un aumento en el tamaño de la muestra. La realidad es que, para un análisis del comportamiento en muchas encuestas de 30-40 preguntas, sólo esperaríamos usar como máximo 5-10 de esas preguntas en un análisis del comportamiento. Incluso apostaría a que sus analistas se sienten de la misma manera y que una gran mayoría de preguntas en muchas encuestas largas casi nunca son estudiadas.
En algún momento puede que tengas que tomar una decisión: ¿deseas una gran cantidad de información superficial o realmente deseas hacer un análisis en un conjunto reducido de datos?
Así que, cuando se trata de análisis del comportamiento combinado con integración de encuesta, la respuesta correcta es muy obvia. Una muestra representativa es esencial, aunque el tamaño realmente importa. Al dejarse convencer con una muestra de 300 personas, puede que también estés tirando a la basura todo ese trabajo realizado al integrar los datos de la encuesta online con los datos de comportamiento.
Te invito a conocer también cómo se elige a los encuestados para participar en una encuesta.
