Por Denise-Marie Ordway
Los investigadores realizan encuestas y sondeos para recopilar una amplia variedad de información, como cuántos estadounidenses poseen armas, qué piensan los profesores sustitutos sobre trabajar en determinadas escuelas y qué candidato presidencial prefieren los votantes estadounidenses. Este tipo de datos no solo ayuda a los investigadores a responder a preguntas sociales urgentes, sino que los organismos gubernamentales a menudo dependen de ellos para diseñar políticas o priorizar proyectos.
Sin embargo, las encuestas y sondeos varían en calidad, a veces de manera significativa. Dado que los datos sesgados son datos incorrectos, los periodistas deben ser conscientes de los factores que pueden influir en los resultados. Una fuente clave de sesgo es el orden de las preguntas: la secuencia en la que los investigadores formulan las preguntas puede provocar diferentes respuestas, un fenómeno al que los expertos se refieren como efecto del orden de las preguntas o sesgo del orden de las preguntas.
Un ejemplo: cuando los investigadores preguntaron a una muestra representativa a nivel nacional de adultos estadounidenses sus opiniones sobre el castigo corporal a los niños, las personas respondieron de manera diferente dependiendo de si primero se les había preguntado sobre la violencia doméstica.
El psicólogo político David C. Wilson analizó los resultados de la encuesta, que Princeton Survey Research Associates International y Princeton Data Source realizaron a fines de 2014. Novecientos participantes respondieron preguntas que variaban en orden.
Cuando se les preguntó a los participantes si a veces es aceptable que un padre pegue a un niño, el 86% estuvo de acuerdo o muy de acuerdo, escribe Wilson en un artículo de 2018. Pero cuando otros participantes respondieron una pregunta sobre la aceptabilidad de que un hombre golpee a una mujer antes de responder una sobre el castigo corporal, el 70% estuvo de acuerdo o muy de acuerdo en que a veces es aceptable que un padre pegue a un niño.
Las personas respondieron de manera diferente porque pensar primero en la violencia doméstica “afecta cómo los individuos piensan sobre el castigo corporal al resaltar las similitudes entre ambos”, escribe Wilson, decano y profesor de la Escuela Goldman de Políticas Públicas de la Universidad de California, Berkeley.
Wilson ha escrito varios artículos académicos que investigan el sesgo en el orden de las preguntas. En un artículo anterior , él y tres colegas examinaron los resultados de una encuesta de Gallup sobre la acción afirmativa, realizada con 1.385 adultos estadounidenses. Encontraron que los participantes tenían más probabilidades de apoyar los programas de acción afirmativa para minorías raciales si primero se les hacía una pregunta sobre los programas de acción afirmativa para mujeres.
El documento también revela que las personas eran menos propensas a apoyar programas de acción afirmativa para mujeres si primero se les preguntaba sobre la acción afirmativa para las minorías raciales.
“Los resultados sugieren que, para el público estadounidense en su conjunto, el apoyo a un tipo de programa de AA [acción afirmativa] se ve afectado por el hecho de que ese programa se considere por sí solo o en el contexto de ambos tipos de programas de AA”, escriben Wilson y sus coautores.
Consejos para periodistas
Los periodistas que cubren encuestas y sondeos deben analizar las preguntas formuladas y buscar evidencia de sesgo en el orden de las preguntas. A continuación, describimos cinco consejos para ayudar a los periodistas a evitar informar sobre encuestas problemáticas y resultados erróneos.
Dos expertos nos ayudaron a crear esta hoja de consejos: Scott Keeter , asesor senior de encuestas en Pew Research Center , y Chase Harrison , director asociado del Programa de Investigación de Encuestas en el Instituto de Ciencias Sociales Cuantitativas de la Universidad de Harvard .
1. Si los resultados de una encuesta o sondeo difieren significativamente de los que otros han encontrado, examine su metodología, incluido el orden de las preguntas.
Si bien la opinión pública puede cambiar bastante en un período corto, ese no suele ser el caso, dice Harrison. Si una encuesta o sondeo muestra un cambio grande y repentino en los sentimientos, actitudes o hábitos de las personas, eso podría ser una señal de que algo en las preguntas incitó a las personas a responderlas de manera diferente a la habitual.
“Muy a menudo, cuando escucho o veo un resultado que no coincide con mi comprensión general del tema, vuelvo a mirar las preguntas y a menudo hay un efecto en el orden de las preguntas”, dice Harrison.
Si los resultados difieren sustancialmente de lo que han encontrado otras encuestas, Harrison recomienda que los periodistas se pongan en contacto con investigadores expertos en el tema de la encuesta. Ellos sabrán si los hallazgos son sorprendentes o improbables. Mientras tanto, los expertos en métodos de investigación de encuestas pueden ayudar a los periodistas a evaluar las preguntas.
2. Obtenga una copia de las preguntas en el orden en que fueron formuladas.
Muchos investigadores y organizaciones de investigación proporcionan la lista de preguntas que formularon junto con sus resultados. Por ejemplo, el Pew Research Center realizó recientemente una encuesta para determinar el porcentaje de adultos estadounidenses que visitan TikTok regularmente para buscar noticias. Pew incluyó un enlace a las preguntas de su encuesta y las respuestas de los participantes al final de un informe del 17 de septiembre que explica los resultados de la encuesta.
Si tiene problemas para encontrar las preguntas utilizadas en una encuesta o sondeo, solicítelas. A menudo se las proporcionarán.
“Los buenos investigadores harán esto”, dice Harrison. “Todos los investigadores de buena reputación lo hacen”.
La Asociación Estadounidense para la Investigación de la Opinión Pública lanzó su Iniciativa de Transparencia en 2014 para alentar a los investigadores a revelar cómo hacen su trabajo. Para convertirse en miembro, las organizaciones de investigación se comprometen a publicar detalles clave sobre su metodología al mismo tiempo que publican los resultados.
Un elemento que los miembros deben compartir es su cuestionario que muestra las preguntas formuladas en el orden en que fueron presentadas, así como las opciones que se les dieron a los participantes para responder la pregunta.
Keeter sugiere que los medios de comunicación eviten cubrir investigaciones de entidades que no respalden ni sigan prácticas científicas abiertas. Casi 100 organizaciones se han unido a la Iniciativa de Transparencia, entre ellas Pew, ABC News, el Survey Research Institute de la Universidad de Cornell, Google Surveys, The Huffington Post y The Washington Post.
“Hay cosas que las buenas encuestas hacen”, añade Keeter. “Y si no puedes averiguar si una encuesta hace esas cosas o no, entonces tal vez no deberías escribir sobre ella”.
3. Familiarícese con las características de las encuestas y sondeos que tienen mayor probabilidad de tener sesgo en el orden de las preguntas.
Adquiera el hábito de preguntar sobre el sesgo en el orden de las preguntas cuando entreviste a los investigadores sobre su trabajo. Si los investigadores afirman que no hay evidencia de sesgo, pídales que expliquen cómo saben que no lo hay.
Tenga en cuenta que las encuestas y sondeos con determinadas características suelen tener problemas con el orden de las preguntas. Por ejemplo:
. Las encuestas y sondeos que cubren un solo tema tienen más probabilidades de tener sesgos que las que cubren varios temas. “Si todo el tema del cuestionario trata sobre algo en particular, es mejor prestar atención a las preguntas anteriores”, advierte Harrison.
. Si el objetivo de una encuesta o sondeo es medir el apoyo a un candidato político en particular, debería comenzar con una pregunta que pregunte a qué candidato prefiere el participante. De lo contrario, la elección de una persona podría verse influida por una pregunta anterior. “Es cierto que la mayoría de las personas saben a quién van a apoyar, pero no todos lo saben”, dice Keeter. “Algunas personas están indecisas o son indecisas. Esas personas son más susceptibles al contexto en el que se les pregunta sobre el apoyo al candidato”.
. Las encuestas y sondeos realizados por grupos con poca experiencia en este tipo de investigación probablemente tengan más probabilidades de tener problemas con el orden de las preguntas que los investigadores experimentados de organizaciones que se han unido a la Iniciativa de Transparencia.
Keeter dice que los periodistas deben desconfiar de los resultados de las encuestas promocionadas por investigadores de grupos de defensa como comités de acción política y entidades que podrían tergiversar sus hallazgos para atraer la atención de los medios.
“Las barreras para ingresar a la profesión se han vuelto cada vez más bajas en las últimas dos décadas a medida que las encuestas en línea se han vuelto más accesibles para todos”, señala. “Los periodistas deben estar alerta para no permitir que los usen personas recién llegadas al mercado que no tienen una trayectoria y no tienen los mismos incentivos en términos de credibilidad profesional”.
4. Pregunte a los investigadores qué medidas tomaron para evitar problemas con el orden de las preguntas.
Debido a que el sesgo en el orden de las preguntas afecta la calidad de los datos, los investigadores han desarrollado una serie de estrategias para ayudarlos a evitarlo o limitar su impacto. Las estrategias comunes incluyen:
. Hacer primero la pregunta más importante. Las personas que respondan esta pregunta primero no pueden verse influenciadas por una pregunta anterior.
. Ordenar las preguntas de forma aleatoria. Si bien la pregunta más importante no siempre aparecerá primero, presentar las preguntas de la encuesta en orden aleatorio diluirá el efecto de cualquier sesgo en el orden de las preguntas que esté presente.
. Realizar una prueba de la encuesta con un grupo pequeño de personas. De esta manera, los investigadores pueden ver cómo responden las personas a las preguntas y hacer cambios, si es necesario, antes de presentarlas a un grupo más grande.
5. No confíe en los comunicados de prensa para describir los resultados de encuestas y sondeos.
Harrison insta a los periodistas a que revisen ellos mismos los detalles de una encuesta o sondeo y no se basen en las descripciones proporcionadas en los comunicados de prensa. Para caracterizar con precisión las respuestas de las personas, los periodistas necesitan saber cómo se formularon las preguntas y el contexto de las preguntas formuladas anteriormente en la encuesta o sondeo.
“Los redactores de comunicados de prensa y los analistas de encuestas a veces se equivocan y describen mal lo que dicen los datos”, explica. “Eso es algo que un periodista puede descubrir fácilmente por sí mismo leyendo las preguntas e intentando escribir sobre las opiniones de la gente de una manera que coincida lo más posible con las preguntas”.
Lectura adicional
. Efectos del orden de las preguntas: este capítulo del manual de métodos de investigación de 2023 de la Asociación Estadounidense de Psicología examina la literatura científica sobre cómo el orden de las preguntas afecta los resultados.
. Aspectos clave que debe saber sobre las encuestas electorales de EE. UU. en 2024: Keeter y Courtney Kennedy , vicepresidente de métodos e innovación de Pew, escribieron esta explicación reciente.
El margen de error: 7 consejos para periodistas que cubren encuestas y sondeos: The Journalist’s Resource creó esta hoja de consejos para ayudar a los periodistas a interpretar correctamente los datos de encuestas y sondeos.
¿Qué es una muestra representativa a nivel nacional? Cinco cosas que debe saber para informar con precisión sobre las investigaciones: esta hoja de consejos de The Journalist’s Resource explica qué es una muestra representativa a nivel nacional (y qué no es) para ayudar a los periodistas a evitar errores al cubrir encuestas de opinión, ensayos clínicos y otras investigaciones.
Código de ética y prácticas profesionales: La Asociación Estadounidense para la Investigación de la Opinión Pública actualizó sus principios rectores en 2021.
The Journalist´’s Resource
