Monday 5 March 2012

Las Encuestas no son Oráculos

Las conversaciones de Carmen Aristégui con varios de los encuestadores mejor conocidos del país me llevó a las siguientes reflexiones:

Por dos razones:
  1. Los encuestadores no son ni clarividentes ni omniscientes. Las encuestas se ven limitadas por sus métodología, produciendo una foto fija intsantánea de la realidad a través de la cual establecen patrones de preferencias.
  2. Son tan buenas como sus instrumentos de medición, y al no ser perfectos estos últimos entregan una visión parcial de la realidad que puede contener errores difíciles de desligar del método mismo.

Estas dos consideraciones generales necesitan de dos justificaciones generales: la metodología y el respeto a la audiencia.

La metodología
Si varias encuestas repetidas a través del tiempo presentan los mismos resultados hay dos explicaciones para esto. Estas explicaciones no son mutuamente exclusivas. La primera, presentada por la mesa de encuestadores el viernes pasado, es que todas son un reflejo fiel de la realidad que tratan de reproducir y por lo tanto esta consistencia les da mayor credibilidad.
La otra explicación es que los instrumentos aplicados son lo suficientemente parecidos y las poblaciones a las que se aplican también, por lo que los resultados también serán consistentes entre sí. Antes ambas soluciones, la mesa prefiere adopatar sólo la primera respuesta, dejando la alternativa fuera de la discusión.

Además de la discusión inherente a si las encuestas son veraces o son simple reflejo de su método, hay otra parte que es también importante entender y que la mesa de encuestadores debe explicar para así mostrar su honestidad: el márgen de error.
Cuando un encuestador nos habla de un márgen de error de un 4 ó 5%, lo considero grande, sobre todo si nos dicen que las muestras tienen un tamaño significativo y por lo tanto son un reflejo fiel de la población. Aquí cabe la duda si es significativo por que muestrearon un número lo suficientemente grande de la población o si consideran que al creerlo representativo de las diferentes clases, consideran que es un buen corte de la sociedad que muestrean.
El márgen de error no significa que hay un error en la medición, lo que este márgen de error nos dice es la exactitud con la que creen los encuestadores que están respecto del valor verdadero de la población. Esto quiere decir que creen que el valor verdadero se encuentra dentro de ese rango de incertidumbre. Hay una segunda parte a esta aseveración. Cuando se toma una muestra se acepta una probabilidad de estar completamente equivocado y que por lo tanto la muestra es espuria, no refleja la realidad. Ya mencioné anteriormente un o de los errrores metodológicos que puede causar este error, pero este error también se puede dar al azar.

Una mejor forma de expresar este márgen de error sería decir, por ejemplo, la preferencia de la población por el candidato Machaca es de 43%, con una posiblilidad de estar equivocado 5 de cada 20 veces. Técnicamente este es un errror alfa de 5.0%.
Las muestras ¿conveniencia o realidad? Todo muestreo y cada encuesta está limitada por su presupuesto y por su tiempo. En su peor forma, esto se convierte en una muestra de conveniencia. Bajo esta circunstancia se muestrea con un mínimo esfuerzo sin una evaluación de la validez de la muestra; en el otro extremo y bajo condiciones ideales, la encuesta es completamente aleatoria y por lo tanto la mejor muestra que puede haber de la realidad.
Sin menospreciar los esfuerzos de las empresas encuestradoras mas grandes e importantes, aquellas que presentan sus resultados en los medios electrónicos e impresos del país, tenemos que cuestionar la homogeneidad de su método. ¿Son capaces estas empresad de cubrir tanto los grandes centros urbanos como las comunidades marginadas? Si esto no es posible, hay un error inherente en su muestreo.

El respeto a la audiencia.
Quiero suponer que una de la finalidad de las mesa de encuestas es educar a la audiencia sobre el trabajo que hacen las casas encuestadoras y que nos pueden decir y que no pueden decir las encuestas. Los ponentes de la mesa asumieron, equivocádamente, que nadie mas sabe tanto de estadísticas y encuestas como ellos (cuando en realidad la audiencia de ese noticiero es diversa y tiene un buen porcentaje de escuchas de alta escolaridad). Creo que su otra suposición es que no es necesario, o que es complicado, explicar como funciona una encuesta y cuales son sus limitaciones.

En estos tiempos donde tenemos acceso a tanta información, es un respeto a la audiencia ayudarla a un mejor entendimiento de su realidad y, también, ser lo suficientemente cándidos sobre su trabajo para que aquellos que saben sobre estadística y muestreos no sientan que hay razones opacas entre los expertos en la radio para ignorar las partes débiles de los métodos de muestreo y análisis de sus resultados.


No comments:

Post a Comment