Encuestas, cuestionarios y medición
Del concepto al número: trabajar con el error
Alejandro Plaza Reveco · profesor invitado Lógica de la Investigación Social · Sociología, Universidad Diego Portales
6 de octubre de 2026
Hoja de ruta
- Medir y encuestar: lo básico variables, niveles de medición, cuestionarios
- Obsesionarse con el error nos vamos a equivocar: ¿por cuánto?
- Del concepto al número conceptos latentes y operacionalización
- Tres casos reales: ELSOC autoeficacia política · autoritarismo · depresión
- Innovaciones experimentos, modos de aplicación y datos vinculados
Parte 1 — Medir y encuestar
Lo básico: qué es medir, qué es una variable y qué es un cuestionario
¿Qué significa medir?
Definición clásica Medir es asignar números a objetos o eventos según reglas (Stevens, 1946)
- Medimos la estatura con una regla y la temperatura con un termómetro
- En sociología medimos edad, ingreso, confianza, autoritarismo…
- La pregunta de hoy: ¿con qué regla le asignamos un número a la confianza en las instituciones?
¿Qué es una variable?
Definición Una variable es una característica que toma distintos valores entre las unidades que estudiamos: personas, hogares, comunas…
| Persona | Comuna | Nivel educacional | Confianza (1–5) | Edad |
|---|---|---|---|---|
| Ana | Maipú | Media completa | 2 | 34 |
| Benito | Ñuñoa | Universitaria | 4 | 51 |
| Carla | Temuco | Básica | 3 | 67 |
| Diego | Antofagasta | Técnica superior | 1 | 22 |
- Cada fila es una unidad; cada columna, una variable
- ¿Las cuatro columnas son datos del mismo tipo?
Niveles de medición
| Nivel | Qué nos dicen los valores | Ejemplos | Operaciones |
|---|---|---|---|
| Nominal | Solo categorías distintas, sin orden | Comuna, partido, sexo | Contar |
| Ordinal | Categorías con orden, pero distancias desconocidas | Nivel educacional, escala de acuerdo | Contar, ordenar |
| Continua | Distancias iguales: un año más es siempre un año más | Edad en años, ingreso, horas de trabajo | Contar, ordenar, sumar, promediar |
Ojo El número que ponemos en la base no cambia el nivel de medición: codificar «Norte = 1, Centro = 2, Sur = 3» no convierte la zona en una variable numérica.
Asignar números a conceptos
«¿Cuánto confía usted en el Congreso?»
- Los números respetan el orden: más número, más confianza
- Pero, ¿la distancia entre «Nada» y «Poca» es igual a la que hay entre «Bastante» y «Mucha»?
- Si lo es, podemos promediar; si no, es una variable ordinal
Para pensar Un promedio de confianza de 2,4: ¿qué significa exactamente?
Ejercicio: ¿qué nivel de medición?
Hagan clic en cada tarjeta para ver la respuesta
Una decisión de diseño: la misma variable puede medirse a distintos niveles. Preguntar la edad en tramos pierde información.
Un cuestionario, según Asún
Definición «Un cuestionario es un dispositivo de investigación cuantitativa consistente en un conjunto de preguntas que deben ser aplicadas a un sujeto (usualmente individual) en un orden determinado y frente a las cuales este sujeto puede responder adecuando sus respuestas a un espacio restringido o a una serie de respuestas que el mismo cuestionario ofrece.»
- Objetivo: «medir» el grado o la forma en que las personas poseen determinadas variables
- Es una conversación no horizontal: uno pregunta con opciones preestablecidas, el otro elige
Asún (2006, p. 67).
Encuesta ≠ cuestionario
- Un buen cuestionario aplicado a una mala muestra produce malos datos
- Una muestra perfecta con preguntas mal hechas, también
- Modos: cara a cara, teléfono, web, autoaplicado… o mezclas
¿Qué se puede preguntar?
Hechos Conductas o sucesos
¿Votó en la última elección? ¿Con quién vive?
Conocimientos y habilidades Hay respuestas correctas e incorrectas
Pruebas SIMCE o PAES, preguntas de conocimiento político
Opiniones y valores Lo que la persona piensa o siente
¿Cuánto confía en el Congreso? ¿Qué es más importante: libertad o igualdad?
Incluso los hechos pasan por la persona Lo que recibimos «no es el hecho», sino «la percepción, recuerdo o lo que nos desea transmitir el sujeto» (Asún, 2006, p. 78).
Síntesis
- Medir es asignar números a conceptos según una regla explícita
- Las variables pueden ser nominales, ordinales o continuas: el nivel define qué operaciones tienen sentido
- El cuestionario es la regla de medición; la encuesta suma muestra y modo de aplicación
Parte 2 — Obsesionarse con el error
Nos vamos a equivocar. La pregunta es: ¿por cuánto?
Trabajar con datos cuantitativos significa
obsesionarse con el error
- ¿De dónde viene el error?
- ¿Cómo lo evitamos o reducimos?
- ¿Cómo le ponemos un número?
No es si nos equivocamos, sino por cuánto
Marzo de 2026: el debate sobre el MEPCO (Mecanismo de Estabilización de Precios de los Combustibles)
Mirada determinista «El 48% de los chilenos opina que el Gobierno debía endeudarse para mantener el subsidio del MEPCO»
Mirada probabilística «Entre 44% y 52% lo opina, con 95% de confianza»
Ilustrativo: muestra de ≈700 casos, margen de ±3,7 puntos
Dato: Cadem, Plaza Pública (marzo 2026).
Laboratorio: ¿por cuánto nos equivocamos?
Cada línea es una encuesta distinta. Verde: el intervalo contiene el valor verdadero. Rojo: no lo contiene.
La pregunta científica
- No asumimos que la realidad social se puede capturar sin falla
- Asumimos que nos vamos a equivocar siempre: por el muestreo, las preguntas, los encuestadores, el procesamiento
- La pregunta es: ¿por cuánto y en qué dirección?
«Medir conceptos de ciencias sociales siempre incorpora un grado variable, pero frecuentemente importante, de error. Equivale a tratar de comprender una conversación escuchada en una radio con mucha estática y ruido de fondo.»
Asún (2006, p. 112)
El tiro al blanco
- El centro es lo que queremos conocer: el valor verdadero en la población
- Cada disparo es una medición: una encuesta, una muestra, una respuesta
- Nunca vemos el centro directamente: solo vemos dónde caen los disparos
Dos tipos de error
- Error aleatorio (varianza): nos equivocamos para ambos lados; se reduce con más casos o más preguntas
- Error sistemático (sesgo): nos equivocamos siempre hacia el mismo lado; más casos no lo arreglan
- En la práctica, casi siempre tenemos un poco de ambos
Laboratorio: el tiro al blanco
La cruz marca el promedio de los disparos. Con más disparos, el error aleatorio se compensa; el sesgo, no.
¿Qué es un DAG?
Grafo dirigido acíclico Un dibujo de qué produce qué
- Nodos: variables
- Flechas: una variable influye en otra
- Acíclico: no hay círculos; nada se causa a sí mismo
La lluvia produce paraguas abiertos y calles mojadas. Paraguas y calles mojadas andan juntos, aunque uno no cause al otro.
Convención de colores en esta clase:
Pearl y Mackenzie (2018), The Book of Why.
La ecuación más importante de hoy
X = V + E
- X: lo que observamos (la respuesta)
- V: el valor verdadero (lo que queremos conocer)
- E: el error de medición
Teoría clásica de los tests: toda respuesta es verdad más ruido
Un ejemplo con un hecho, no una opinión
- En una encuesta del CIS (España) se preguntó por quién habían votado en la última elección
- Casi el 65% declaró haber votado por el candidato ganador…
- …que en la realidad obtuvo poco más del 50%
Ejemplo en Asún (2006, p. 103).
Dos historias para el mismo número
Historia 1: la gente no dice la verdad
Declarar haber votado por el ganador «queda bien»: es un error de medición
Historia 2: responde otra gente
Quienes votaron (y por el ganador) aceptan más responder: es un error de representación
La lección El mismo número equivocado puede venir de fuentes distintas. En EE.UU., buena parte de la sobreestimación de la participación se explica por la historia 2 (Jackman y Spahn, 2019).
El mapa: error total de encuesta
Groves et al. (2009), Survey Methodology, cap. 2.
Explorar el mapa
Los errores se acumulan: el estadístico final los hereda todos. El margen de error que publica la prensa mide solo el error muestral.
Un mismo tema, tres encuestas, tres números
¿Qué piensan los chilenos sobre el MEPCO? (marzo–abril de 2026)
| Encuesta | Lo que se preguntó (en síntesis) | Resultado |
|---|---|---|
| Cadem, Plaza Pública | El Gobierno debía endeudarse para mantener el subsidio | 48% de acuerdo |
| Pulso Ciudadano | Rechazo a la decisión de no aplicar el mecanismo | 57,2% rechaza |
| Métrica Pública | Rechazo a la eliminación o suspensión del MEPCO | 65,5% rechaza |
Para discutir ¿Estas encuestas se contradicen? ¿O cada una mide una cosa distinta: el endeudamiento, una decisión del Gobierno, la existencia del mecanismo?
Cifras según reportes de prensa; verificar en los informes originales de cada encuesta.
Síntesis
- Nos vamos a equivocar: la pregunta científica es por cuánto y en qué dirección
- El error aleatorio se compensa con más casos; el sistemático no
- Toda respuesta es verdad más error: X = V + E
- El error total viene de cómo preguntamos (medición) y de a quiénes (representación)
Parte 3 — Del concepto al número
Conceptos latentes y operacionalización
¿Cómo se mide…?
el amor la inteligencia la confianza en los demás
el autoritarismo la depresión la eficacia política
- Son conceptos latentes: existen (o eso creemos), pero no se observan directamente
- No hay una regla para medir el autoritarismo como la hay para medir la estatura
- Solo observamos sus manifestaciones: lo que la gente dice, hace o responde
Operacionalización
Asún (2006, p. 69) (a) Definir cuidadosamente un concepto no observable; (b) derivar consecuencias observables, los indicadores; (c) medir los indicadores; (d) deducir de ellos el grado en que el objeto posee el concepto.
Un ejemplo de otras ciencias
- La edad de un árbol (latente) se mide contando los anillos del tronco (indicador)
- Funciona porque la relación es directa y estable
- En ciencias sociales esa relación casi nunca es tan limpia
Dos roles en la ciencia: teoría y medición
- Sheldon, físico teórico: trabaja con conceptos y ecuaciones
- Leonard, físico experimental: diseña instrumentos para medir
- 1964: Higgs propone una partícula en teoría
- 2012: el CERN logra medirla, 48 años después
En sociología Hay una fase teórica (qué es el concepto) y una fase empírica (cómo se traduce en números). La operacionalización es el puente.
Del concepto al número
Concepto → dimensiones → preguntas → categorías de respuesta → índice o escala
Adaptado de Asún (2006, p. 75).
Conceptos simples y conceptos complejos
Concepto simple Las personas lo usan en su vida cotidiana igual que el investigador
«¿Cuántos años tiene?» · «¿Se siente enamorado de su pareja actual?»
Concepto complejo El habla cotidiana no lo usa, o lo usa distinto
No podemos preguntar «¿cuán individuado está usted?»
- Operacionalizar un concepto complejo es un proceso de traducción: del lenguaje del investigador al habla de las personas
- Hay que desagregarlo en dimensiones hasta llegar a algo que la gente pueda responder
Asún (2006, pp. 71–73).
Un ejemplo chileno: individuación (PNUD, 2002)
| Dimensión | Pregunta |
|---|---|
| Disposición a romper normas sociales | ¿Seguiría adelante con una idea aunque vaya en contra de la opinión de sus padres? ¿De su pareja? ¿De la Iglesia? |
| Deberes morales que restringen la conducta | ¿Cómo le gustaría ser recordado? (a) alguien que se entregó a los demás; (b) alguien que salió adelante contra viento y marea; (c) alguien fiel a sus sueños; (d) alguien que cumplió su deber |
| Biografía como decisión personal | ¿Cuál frase lo representa mejor? (a) Yo analizo mi vida y veo qué hacer; (b) En la vida uno tiene que hacer lo que hay que hacer |
Un punto por cada respuesta «individualizada» ⇒ índice de 0 a 5
Ejemplo desarrollado en Asún (2006, pp. 73–75).
Operacionalizar siempre tiene un costo
«El proceso de operacionalización siempre implica un grado de distorsión o mutilación del sentido teórico de un concepto. […] Nunca logramos medir totalmente el concepto que buscamos, sólo obtenemos mejores o peores interpretaciones empíricas.»
Asún (2006, p. 77)
Pregunta al curso ¿Las cinco preguntas del PNUD capturan todo lo que un sociólogo entiende por «individuación»? ¿Qué quedó fuera?
Por qué usamos varias preguntas
- Cada pregunta trae su propio error: el fraseo, las palabras, el orden de las alternativas
- Si una pregunta empuja hacia arriba y otra hacia abajo, el promedio se acerca a la verdad
- Es la lógica de «más casos», aplicada a más ítems
Asún (2006, p. 91) Si en una prueba de 60 preguntas un alumno capaz se confunde con una, su puntaje total igual reflejará su conocimiento.
Laboratorio: ¿cuántas preguntas?
Cada punto es una persona. Eje horizontal: su valor verdadero (que en la realidad nunca vemos). Eje vertical: el promedio de sus respuestas. Cada pregunta trae su propio error; al promediar varias, los errores se compensan.
Validez y confiabilidad
Confiabilidad ¿El instrumento entrega el mismo resultado si lo aplicamos dos veces a alguien que no ha cambiado?
Una regla que hoy dice 15 cm y en cinco minutos dice 20 cm no sirve
Validez ¿El instrumento mide lo que dice medir?
Si digo que mido autoritarismo, que sea autoritarismo y no otra cosa
Vuelvan al tiro al blanco: un instrumento preciso pero sesgado es confiable pero no válido. Siempre mide lo mismo… pero no lo que queríamos.
Asún (2006, pp. 101–102).
Dos maneras de relacionar concepto e indicadores
Reflectivo
El concepto causa las respuestas: si alguien es autoritario, tenderá a estar de acuerdo con todos los ítems. Los ítems deben correlacionar.
Formativo
Los indicadores componen el concepto: una casa puede tener buen material y mal entorno. No tienen por qué correlacionar.
¿Por qué importa? En un modelo formativo, eliminar el indicador «que no correlaciona» significa amputar una parte del concepto.
¿Qué hace una persona cuando responde?
- En cada etapa algo puede salir mal (en dorado)
- Las reglas de redacción no son manías: cada una protege una etapa
- Si la tarea es difícil y la motivación baja, la gente responde «lo suficiente» (satisficing, Krosnick, 1991)
Tourangeau, Rips y Rasinski (2000).
Ejercicio: ¿qué tienen de malo estas preguntas?
En parejas, 2 minutos. Después, clic en cada tarjeta para ver el problema y una mejor versión
Lenzner y Menold (2016), GESIS Survey Guidelines: Question Wording; Asún (2006, pp. 80–90).
Preguntar también produce la opinión
- Asún lo llama cristalización: preguntar hace que la persona se sitúe donde antes no se había situado
- «Cuando aplicamos un cuestionario estamos produciendo información y no sólo recogiendo información» (p. 72)
Una ley que no existía En EE.UU. se preguntó si había que derogar la Public Affairs Act of 1975, una ley inventada. Cerca de un tercio dio su opinión igual.
Implicancias
- Ofrecer la opción «no sabe»
- Preguntar primero si conoce el tema
- Desconfiar de opiniones sobre temas poco conocidos
Bishop, Oldendick, Tuchfarber y Bennett (1980), Public Opinion Quarterly, 44(2).
Síntesis
- Los conceptos sociológicos son latentes: solo vemos sus manifestaciones
- Operacionalizar es traducir: concepto, dimensiones, preguntas, categorías, índice
- Varias preguntas por concepto reducen el error aleatorio
- Cada etapa de la respuesta puede fallar: las reglas de redacción la protegen
Parte 4 — Tres casos reales: ELSOC
Autoeficacia política · autoritarismo · depresión
ELSOC: Estudio Longitudinal Social de Chile
- Encuesta panel del Centro de Estudios de Conflicto y Cohesión Social (COES)
- Sigue a las mismas personas año a año desde 2016
- Población urbana adulta de Chile
- Módulos: ciudadanía, desigualdad, redes, salud y bienestar, territorio, conflicto
- Cuestionarios, bases y documentación son públicos
- Sitio del estudio: ELSOC – COES
La operacionalización, en una planilla
El Listado de Variables de ELSOC documenta, para cada ítem, su concepto y su pregunta:
| Código | Concepto general | Concepto específico | Fraseo del ítem | Tipo |
|---|---|---|---|---|
c10_02 |
Autoeficacia política | Autoeficacia política | Mi voto influye en el resultado de la elección | Ordinal |
c18_06 |
Autoritarismo | Autoritarismo 1 | La obediencia y el respeto por la autoridad son los valores más importantes que los niños debieran aprender | Ordinal |
s11_02 |
Estado de ánimo | Sintomatología depresiva | Decaimiento, pesadez o desesperanza | Ordinal |
Concepto → dimensión → pregunta → categorías: el diagrama de Asún, hecho planilla
ELSOC, Listado de Variables Global v2023.
Caso 1. Autoeficacia política: la teoría
- Eficacia política: la sensación de que uno puede influir en la política (Campbell et al., 1954)
- Dos dimensiones clásicas:
- Interna: «entiendo la política y puedo participar»
- Externa: «el sistema responde a gente como yo»
- Un concepto vecino: el deber cívico, la sensación de que hay que participar
Campbell, Gurin y Miller (1954); Niemi, Craig y Mattei (1991).
Caso 1. Autoeficacia política en ELSOC
«¿En qué medida se encuentra usted de acuerdo o en desacuerdo con cada una de las siguientes afirmaciones?»
| Código | Ítem |
|---|---|
c10_01 |
Votar es mi deber como ciudadano |
c10_02 |
Mi voto influye en el resultado de la elección |
c10_03 |
Votar permite expresar mis ideas |
Totalmente en desacuerdo — En desacuerdo — Ni de acuerdo ni en desacuerdo — De acuerdo — Totalmente de acuerdo
Pregunta al curso ¿Qué faceta de la relación con el voto captura cada ítem?
Caso 1. Una escala corta, varias facetas
- Una encuesta panel cubre muchos temas: cada concepto recibe pocas preguntas
- Asún: el mínimo es una o dos preguntas por subconcepto; el resto se «invierte» en los conceptos centrales del estudio (p. 92)
- Cada ítem aporta una faceta: quien analiza los datos decide cuáles usar según su pregunta
Caso 1. Leer la documentación antes de analizar
Lo que permite una buena documentación
- Ver el fraseo exacto de cada ítem
- Elegir los ítems que calzan con mi concepto
- Saber en qué olas se preguntó cada uno
Ejemplo Si me interesa la eficacia externa, c10_02 es mi mejor candidato; si me interesa la cultura cívica, c10_01.
La lección La etiqueta de una variable es un punto de partida, no una garantía. La validez se juzga en relación con la pregunta de investigación de quien usa los datos.
Que ELSOC publique el concepto, el fraseo y las olas de cada ítem es justamente lo que hace posible esta discusión.
Caso 1. ¿Por qué importa medirlo bien?
- Verba, Schlozman y Brady (1995): no todos tienen la misma voz política
- Participar requiere recursos (tiempo, dinero, habilidades), compromiso (interés, eficacia) y redes que te recluten
- La eficacia es parte del mecanismo por el cual la desigualdad social se vuelve desigualdad política
Medir no es solo un problema técnico Cómo medimos la eficacia define qué podemos decir sobre un mecanismo de la desigualdad.
Caso 2. Autoritarismo: una larga historia
- Adorno, Frenkel-Brunswik, Levinson y Sanford (1950), The Authoritarian Personality
- La pregunta tras el nazismo: ¿por qué personas comunes apoyan regímenes autoritarios?
- Construyeron la escala F (de «fascismo»): obediencia, convencionalismo, agresión hacia los desviados
- Incluía preguntas sobre la relación con los padres, justificadas desde la teoría psicoanalítica (Asún, 2006, p. 112)
Caso 2. Autoritarismo en ELSOC
«¿En qué medida se encuentra usted de acuerdo o en desacuerdo con cada una de las siguientes afirmaciones?»
| Código | Ítem |
|---|---|
c18_04 |
En vez de tanta preocupación por los derechos de las personas, lo que este país necesita es un gobierno firme |
c18_05 |
Lo que nuestro país necesita es un mandatario/a fuerte con la determinación para llevarnos por el camino correcto |
c18_06 |
La obediencia y el respeto por la autoridad son los valores más importantes que los niños debieran aprender |
c18_07 |
Las verdaderas claves para tener una buena vida son la obediencia y la disciplina |
Miren con atención ¿Qué significa responder «de acuerdo» en las cuatro afirmaciones?
Caso 2. Un desafío de toda escala de acuerdo / desacuerdo
- En los cuatro ítems, estar de acuerdo = más autoritario
- Es el formato estándar de muchas escalas, desde la escala F hasta encuestas internacionales actuales
- Su riesgo: la aquiescencia, la tendencia a responder «de acuerdo» independientemente del contenido
¿Por qué ocurre?
- Cortesía con el encuestador
- Deferencia hacia quien pregunta
- Menor esfuerzo: es más fácil buscar razones para estar de acuerdo (Krosnick, 1991)
Consecuencia Una persona aquiescente puede aparecer como más autoritaria de lo que es: un error sistemático.
Bogner y Landrock (2016), GESIS Survey Guidelines: Response Biases in Standardised Surveys, sección 2.2.
Caso 2. El DAG del problema
- Si las personas con menos educación aparecen «más autoritarias», ¿cuánto es autoritarismo y cuánto es forma de responder?
- El error de medición puede fabricar o inflar relaciones entre variables
Laboratorio: una relación fabricada
Simulación: 600 personas, con el mismo autoritarismo promedio en ambos grupos. Las personas con menos educación tienden a decir «de acuerdo» un poco más. La línea dorada es el promedio verdadero.
Caso 2. ¿Cómo se enfrenta?
1. Escalas balanceadas Mitad de los ítems en un sentido y mitad en el otro: la aquiescencia se cancela
Ej.: escala RWA de Altemeyer
2. Categorías propias Reemplazar «de acuerdo / en desacuerdo» por alternativas del ítem
«¿Cuánto influye su voto?» Nada — Poco — Algo — Mucho
3. Medición indirecta Preguntar por otra cosa que revela el concepto
¿Qué es más importante que aprenda un niño: obediencia o independencia? (Feldman y Stenner, 1997)
- La opción 3 elige entre dos cosas deseables: no hay un «de acuerdo» fácil
- Medir bien exige creatividad conceptual, no solo técnica
Caso 3. Depresión: un instrumento clínico en una encuesta
«¿Cuántas veces durante las últimas dos semanas ha sentido alguna de las siguientes molestias?»
| Código | Síntoma |
|---|---|
s11_01 |
Poco interés o alegría para realizar sus actividades |
s11_02 |
Decaimiento, pesadez o desesperanza |
s11_03 |
Dificultad para dormir, o exceso de sueño |
s11_04 |
Cansancio o falta de energía |
s11_05 |
Apetito disminuido o aumentado |
s11_06 |
Dificultad para concentrarse |
s11_07 |
Mala opinión de sí mismo |
s11_08 |
Movimientos o lenguaje enlentecidos |
s11_09 |
Pensamientos de muerte o de hacerse daño |
PHQ-9
- Patient Health Questionnaire: instrumento clínico validado
- Nueve síntomas, periodo de referencia preciso
- Asún: no inventar todo, usar instrumentos probados (p. 108)
Caso 3. Adaptar tiene costos
PHQ-9 original · 4 categorías 0 Nunca · 1 Varios días · 2 Más de la mitad de los días · 3 Casi todos los días
ELSOC · 5 categorías 1 Nunca · 2 Algunos días · 3 Más de la mitad de los días · 4 Casi todos los días · 5 Todos los días
- El PHQ-9 tiene puntajes de corte (5, 10, 15, 20) para la escala 0–27
- Con otra escala de respuesta, esos cortes no se aplican directamente
- Toda adaptación es una decisión con costos y beneficios de comparabilidad
Caso 3. El problema de tener a alguien enfrente
- Responder sobre el propio ánimo frente a un desconocido no es neutral
- Deseabilidad social: responder lo que «queda bien»
- Efecto encuestador: las respuestas cambian según quién pregunta
- Presencia de terceros: la pareja o los hijos en la sala
Ambos empujan hacia abajo: subreporte
Bogner y Landrock (2016), secciones 2.1, 3.1 y 3.2.
Caso 3. La solución de ELSOC: pasar la tablet
- En este módulo el encuestador entrega la tablet y la persona responde sola
- ELSOC lo registra:
s11_10indica si la persona contestó directamente en la tablet - Lo mismo con el voto: «PREGUNTA AUTOADMINISTRADA. ENTREVISTADO DEBE RESPONDER DIRECTAMENTE EN LA TABLET»
Asún ya lo anticipaba (p. 108) Aumentar la confidencialidad «dejando que parte del instrumento lo responda secretamente (sin mediación del encuestador)».
Caso 3. Una pregunta abierta: ¿qué es la depresión?
Causa común
La depresión es una condición latente que produce los síntomas: sumarlos tiene sentido
Red de síntomas
Los síntomas se causan entre sí: la depresión es la red. Ojo: este dibujo no es un DAG, porque tiene un ciclo
La lección Incluso en instrumentos clínicos, ¿qué es el concepto? sigue siendo una pregunta abierta. Operacionalizar es tomar posición teórica.
Borsboom y Cramer (2013); Fried y Nesse (2015).
Caso 3. Medir también tiene consecuencias éticas
- El ítem
s11_09pregunta por pensamientos de muerte o de hacerse daño - Una encuesta que pregunta esto debe estar preparada para lo que puede escuchar: protocolos de derivación a apoyo profesional, encuestadores capacitados y aprobación de un comité de ética
| Caso | Pregunta | Fuente de error |
|---|---|---|
| Autoeficacia | ¿qué faceta mide cada ítem? | validez |
| Autoritarismo | ¿el formato empuja? | sesgo de respuesta |
| Depresión | ¿la situación empuja? | efecto encuestador y modo |
Síntesis
- Una buena documentación permite discutir la validez de cada ítem
- El formato de acuerdo / desacuerdo puede introducir error sistemático
- La situación de entrevista cambia las respuestas: la autoaplicación protege los temas sensibles
- Toda medición es también una posición teórica y una responsabilidad ética
Parte 5 — Innovaciones
Experimentos, modos de aplicación y datos vinculados
Experimentos dentro de encuestas
- Se asigna al azar a cada persona una versión distinta del cuestionario
- Como el azar decide, los grupos son comparables en todo lo demás
- Cualquier diferencia en las respuestas se debe a la versión
- Combina muestras representativas con inferencia causal
El azar corta la flecha entre las características de las personas y la versión que reciben
Mutz (2011), Population-Based Survey Experiments.
Dos experimentos clásicos de fraseo
Prohibir vs. permitir (Rugg, 1941) «¿Debería EE.UU. prohibir los discursos públicos contra la democracia?» → 54% sí
«¿Debería permitir…?» → 75% no
Misma idea, 21 puntos de diferencia
Rangos de respuesta (Schwarz et al., 1985) Horas diarias de televisión:
Rangos bajos → 16% dice más de 2½ horas
Rangos altos → 38% dice más de 2½ horas
Las alternativas sugieren qué es «normal»
- Ambos son split-ballot: dos versiones asignadas al azar
- El primero muestra error en una opinión; el segundo, en un hecho
Tipos de experimentos en encuestas
| Diseño | En qué consiste | Sirve para |
|---|---|---|
| Split-ballot | Dos redacciones de la misma pregunta | Efectos de fraseo, orden, escalas |
| Viñetas | Historias breves con atributos que varían (sexo, clase, nacionalidad…) | Juicios de justicia, discriminación, merecimiento |
| Conjoint | Elegir entre perfiles que combinan varios atributos | Preferencias por candidatos, políticas, inmigrantes |
| Lista | Contar cuántas afirmaciones de una lista son ciertas; un grupo tiene una extra, sensible | Temas sensibles: compra de votos, discriminación |
Auspurg y Hinz (2015); Hainmueller, Hopkins y Yamamoto (2014); Blair e Imai (2012).
Conjoint en vivo: el curso vota
| Candidatura A | Candidatura B | |
|---|---|---|
| Manos alzadas |
Después de 3 rondas aparecen los resultados.
Modos de aplicación y mixed-mode
- El mismo cuestionario no mide igual cara a cara, por teléfono o por web
- Teléfono: preguntas cortas, pocas alternativas, sin tarjetas
- Web o autoaplicado: más reporte de temas sensibles, pero nadie aclara dudas
- Mixed-mode: combinar modos para reducir costos o no respuesta, a riesgo de mezclar efectos de modo
Caso chileno: CASEN 2020 Por la pandemia, se aplicó mayoritariamente por teléfono, con un cuestionario reducido. El Ministerio advirtió cautela al comparar con años anteriores.
La tablet de ELSOC es un cambio de modo dentro de la misma entrevista
de Leeuw (2005); Kreuter, Presser y Tourangeau (2008).
Más allá del cuestionario: vincular datos
- La encuesta deja de ser la única fuente: se conecta con otros datos sobre la misma persona
- Permite medir hechos sin depender del recuerdo y combinar métodos cuantitativos y cualitativos
Un ejemplo real: ELSOC pide el RUT
Pregunta m66_01 (cuestionario 2022) «Con el objetivo de potenciar el desarrollo de estudios y políticas públicas basadas en evidencia […] queremos consultarle sobre la posibilidad de contar con su RUT, de manera de poder vincular sus respuestas en esta encuesta con datos administrativos […] ¿Compartiría usted su RUT para fines de este estudio?»
La pregunta recuerda los protocolos de confidencialidad y la aprobación del comité de ética.
Condiciones éticas
- Consentimiento específico para cada vínculo
- Derecho a decir que no, sin consecuencias
- Datos seudonimizados y resguardados
- Aprobación de un comité de ética
Quienes aceptan vincular sus datos pueden ser distintos de quienes no: otra fuente de error de representación
ELSOC, cuestionario maestro 2022; Sakshaug y Kreuter (2012); Boeschoten et al. (2022).
Síntesis
- Los experimentos en encuestas combinan muestras representativas con inferencia causal
- Split-ballot, viñetas, conjoint y listas permiten estudiar el fraseo y los temas sensibles
- El modo de aplicación también es parte de la medición
- Vincular encuestas con registros, entrevistas y datos digitales exige consentimiento y resguardo ético
Recomendaciones para construir un cuestionario
- No inventar todo: revisar instrumentos existentes (ELSOC, CEP, CASEN, ISSP)
- Varias preguntas por concepto importante
- Seguir las reglas de redacción
- Pensar el orden: de lo simple a lo complejo, lo sensible al final
- Temas sensibles: autoaplicación y confidencialidad
- Pretest: probar con personas reales y preguntar cómo entendieron
- Trabajar en equipo
- No esperar perfección: «en toda encuesta siempre hay preguntas que no funcionan» (Asún, p. 67)
Asún (2006, pp. 66–67, 98–100, 108–109).
Un recurso para seguir: GESIS Survey Guidelines
- Guías breves del instituto alemán GESIS, con revisión de pares
- De acceso libre (licencia CC BY-NC)
- Una guía para cada decisión: redacción de preguntas, diseño de escalas, sesgos de respuesta, pretest cognitivo, modos de aplicación
Para llevarse
- Trabajar con datos es obsesionarse con el error: nos vamos a equivocar, la pregunta es por cuánto
- El error viene de a quiénes preguntamos y de cómo preguntamos
- Los conceptos sociológicos son latentes: medirlos exige traducirlos con cuidado
- Operacionalizar es una decisión teórica, no solo técnica
- El fraseo, el formato y la situación de entrevista cambian las respuestas, y podemos estudiarlo
Referencias
Adorno, T. W., Frenkel-Brunswik, E., Levinson, D. y Sanford, N. (1950). The Authoritarian Personality. Harper.
Asún, R. (2006). Construcción de cuestionarios y escalas: el proceso de la producción de información cuantitativa. En M. Canales (Ed.), Metodologías de investigación social (pp. 63–114). LOM.
Auspurg, K. y Hinz, T. (2015). Factorial Survey Experiments. Sage.
Bishop, G., Oldendick, R., Tuchfarber, A. y Bennett, S. (1980). Pseudo-opinions on public affairs. Public Opinion Quarterly, 44(2), 198–209.
Blair, G. e Imai, K. (2012). Statistical analysis of list experiments. Political Analysis, 20(1), 47–77.
Boeschoten, L., Ausloos, J., Möller, J., Araujo, T. y Oberski, D. (2022). A framework for privacy preserving digital trace data collection through data donation. Computational Communication Research, 4(2), 388–423.
Bogner, K. y Landrock, U. (2016). Response Biases in Standardised Surveys. GESIS Survey Guidelines.
Bollen, K. y Lennox, R. (1991). Conventional wisdom on measurement: A structural equation perspective. Psychological Bulletin, 110(2), 305–314.
Borsboom, D. y Cramer, A. (2013). Network analysis: An integrative approach to the structure of psychopathology. Annual Review of Clinical Psychology, 9, 91–121.
Campbell, A., Gurin, G. y Miller, W. (1954). The Voter Decides. Row, Peterson.
de Leeuw, E. (2005). To mix or not to mix data collection modes in surveys. Journal of Official Statistics, 21(2), 233–255.
Feldman, S. y Stenner, K. (1997). Perceived threat and authoritarianism. Political Psychology, 18(4), 741–770.
Fried, E. y Nesse, R. (2015). Depression sum-scores don’t add up. BMC Medicine, 13, 72.
Groves, R., Fowler, F., Couper, M., Lepkowski, J., Singer, E. y Tourangeau, R. (2009). Survey Methodology (2.ª ed.). Wiley.
Hainmueller, J., Hopkins, D. y Yamamoto, T. (2014). Causal inference in conjoint analysis. Political Analysis, 22(1), 1–30.
Referencias (continuación)
Jackman, S. y Spahn, B. (2019). Why does the ANES overestimate voter turnout? Political Analysis, 27(2), 193–207.
Kreuter, F., Presser, S. y Tourangeau, R. (2008). Social desirability bias in CATI, IVR, and Web surveys. Public Opinion Quarterly, 72(5), 847–865.
Krosnick, J. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236.
Lenzner, T. y Menold, N. (2016). Question Wording. GESIS Survey Guidelines.
Mutz, D. (2011). Population-Based Survey Experiments. Princeton University Press.
Niemi, R., Craig, S. y Mattei, F. (1991). Measuring internal political efficacy in the 1988 National Election Study. American Political Science Review, 85(4), 1407–1413.
Pearl, J. y Mackenzie, D. (2018). The Book of Why. Basic Books.
Rugg, D. (1941). Experiments in wording questions: II. Public Opinion Quarterly, 5(1), 91–92.
Sakshaug, J. y Kreuter, F. (2012). Assessing the magnitude of non-consent biases in linked survey and administrative data. Survey Research Methods, 6(2), 113–122.
Saris, W., Revilla, M., Krosnick, J. y Shaeffer, E. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61–79.
Schwarz, N., Hippler, H.-J., Deutsch, B. y Strack, F. (1985). Response scales: Effects of category range on reported behavior and comparative judgments. Public Opinion Quarterly, 49(3), 388–395.
Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103(2684), 677–680.
Tourangeau, R., Rips, L. y Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press.
Verba, S., Schlozman, K. y Brady, H. (1995). Voice and Equality: Civic Voluntarism in American Politics. Harvard University Press.
¡Gracias!
Encuestas, cuestionarios y medición
Alejandro Plaza Reveco aplazareveco@gmail.com
alejandroplazareveco.github.io