—¿Le preocupa mucho el número de jóvenes que hay sin trabajo?
—Sí.
—¿Cree que ha habido un aumento de la criminalidad entre la juventud?
—Sí.
—¿Piensa que hace falta más disciplina en nuestros colegios?
—Sí.
—¿Le parece que el pueblo aceptaría un poco de autoridad y mano dura?
—Sí.
—¿Impondría usted de nuevo el servicio militar obligatorio?
—Sí.

Este diálogo forma parte de una escena de la serie británica Sí, primer ministro, emitida por la BBC en los 80. Las preguntas las hace un asesor del primer ministro en la ficción y las responde otro. Ambos discuten sobre la vuelta del servicio militar obligatorio en el Reino Unido. El primer ministro en la ficción apuesta por recuperarlo y ellos quieren sacárselo de la cabeza.

Uno de los asesores, Bernard Woolley, asegura que el partido ha realizado una encuesta y que la ciudadanía se ha posicionado a favor de la vuelta de la mili. El otro, Humphrey Appleby, le contesta que hay que encargar una nueva que dé como resultado que la sociedad está en contra para poder convencer al primer ministro de desechar la idea. Woolley se muestra escéptico ante la posibilidad de que una nueva encuesta arroje un resultado distinto, pero Appleby le vuelve a hacer una serie de preguntas.

—¿Le preocupa el peligro de una guerra?
—Sí.
—¿Le parece una locura la carrera armamentística?
—Sí.
—¿Cree que es arriesgado darle armas a los jóvenes y enseñarles a matar?
—Sí.
—¿Es totalmente injusto obligar a la gente a manejar armas?
—Sí.
—¿Es contrario a implantar el servicio militar obligatorio?
—Sí.

Woolley queda anonadado con sus propias respuestas, contrarias a las que ha dado unos segundos antes, y ambos encargan una nueva encuesta. En esta el 70% de los británicos se posiciona en contra de la vuelta de la mili y la utilizan para convencer al primer ministro de no seguir adelante con la idea.

El pasado viernes, 1.809 españoles vivieron una situación, salvando las distancias, similar, cuando el Centro de Investigaciones Sociológicas (CIS) les entrevistó para su "encuesta flash sobre la situación política española". La encuesta se realizó solo dos días después de que el presidente del Gobierno, Pedro Sánchez, publicara una carta para anunciar que cancelaba su agenda pública y que iba a reflexionar sobre su continuidad en el cargo hasta este lunes —día en el que confirmó su continuidad en Moncloa—.

Tal y como estaba elaborado el cuestionario del CIS que preside José Félix Tezanos, los encuestados acababan conducidos a asegurar, por ejemplo, que "es necesario una reforma de la situación de la justicia en España" —además, sin especificar en qué sentido—. Así lo certifican los expertos consultados por Público, que definen las preguntas del CIS como "nefastas", entre otros adjetivos. "Son sesgadas, connotadas y cargadas en una dirección muy clara para generar el efecto buscado en el entrevistador", asegura Pablo Simón, politólogo y profesor de la Universidad Carlos III de Madrid.

Un formulario dirigido

Carolina Bescansa, profesora de la Universidad Complutense de Madrid y doctora en Ciencia Política y Sociología, asegura a Público que la encuesta solo estaba diseñada "de acuerdo con la interpretación que Pedro Sánchez pone sobre la mesa con su carta". "Hay mucha gente que no cree que esa sea la interpretación. Si tú quieres hacer una investigación, tendrás que hacer también preguntas sobre el resto de interpretaciones".

La experta en demoscopia, que también fue fundadora de Podemos, explica que una buena encuesta "tiene que intentar dar entrada al mayor número de miradas posibles" y que eso no es lo que ha pasado en este caso. "En una cuestión que desde el minuto uno en el que se plantea está completamente problematizada en un escenario político de alta confrontación y polarización, no puedes hacer preguntas que correspondan únicamente a la interpretación de uno de los lados", asegura.

Pablo Simón coincide con esta interpretación. El experto asegura que "incluso el orden de las preguntas dentro del cuestionario está mal y eso tiene un efecto". "Cuando tú ya has hecho al encuestado todas esas preguntas sobre la Justicia y 'pobre Begoña' y '¿verdad que está mal?' y luego le preguntas por intención de voto, ya le has ido calentando los cascos para que tenga una orientación más proclive en una dirección", explica.

El Centre d'Estudis d'Opinió (CEO), el homólogo al CIS en Catalunya, publicó hace poco una encuesta experimental que mostraba cómo la forma en la que se planteaban las preguntas y el orden de las mismas variaba la respuesta de los entrevistados. Por ejemplo, si a un ciudadano se le preguntaba si estaba en contra de que se instalara una central nuclear en su municipio y en Catalunya, era más proclive a oponerse en ambos casos si se preguntaba primero por el municipio, tal y como explicaba Nació Digital.

"Se tendría que haber hecho también, por ejemplo, una pregunta que fije la hipótesis, muy extendida en los medios, de que esa carta de Pedro Sánchez es una estrategia electoral para ganar apoyos", asegura Bescansa.

Lo cierto es que el CIS no planteó esa hipótesis. Lo que sí preguntó es: "¿Cree usted que la apertura de una causa judicial por una denuncia particular contra la mujer de Pedro Sánchez, Begoña Gómez, está justificada, o cree que solo es una manera de meterse con Pedro Sánchez e intentar hacerle daño?", uno de los enunciados de la encuesta que ha levantado más polémica.

En cambio, cuesta imaginar que el CIS hubiera preguntado, por ejemplo, lo siguiente: "¿Cree usted que la carta de Pedro Sánchez es sincera y está justificada, o cree que solo es una manera de desviar el foco sobre las actividades de su pareja y reforzar su liderazgo y el del PSOE en la izquierda?". Pero no deja de ser una hipótesis que también ha estado sobre la mesa estos días.

Preguntas "enmarcadas, connotadas y sesgadas"

Bescansa asegura sobre esa cuestión que sí incluyó el CIS que "no se puede preguntar así". "Entre otras cosas, porque plantea una dicotomía que no es real. Las posiciones de la gente pueden estar mucho más matizadas. Por ejemplo, puedes creer que la apertura de la causa no está justificada, pero no que sea para meterse con Pedro Sánchez. Hay una doble afirmación que metodológicamente no es admisible en el campo de la investigación".

"Si se quería plantear esa cuestión, se podría haber preguntado: ¿Con la información de la que usted dispone, considera que la apertura de la causa contra la mujer del presidente está justificada? Y entonces, a los que te dicen que no, les preguntas cuál es el principal motivo por el que creen que se ha abierto esa causa", detalla.

Lo mismo pasa con otras preguntas que plantean únicamente dos opciones como si solo existieran esas dos alternativas. Por ejemplo, la que asegura: "En el caso de la situación de la justicia en España; en su opinión, ¿cree que actúa siempre de forma imparcial o en ocasiones se ve influida por otros poderes políticos o económicos?". "No se puede hacer a nivel metodológico una pregunta con una doble afirmación, con independencia de cuál sea el tema", resume Bescansa. Esa pregunta, además, engloba en una misma respuesta a todos los encuestados que piensen que en ciertos casos puede haber influencias externas, ya crean que sucede muchas veces o en contadas ocasiones.

Pablo Simón también es muy crítico con la formulación de las preguntas de la encuesta. "Son totalmente inadecuadas. Las vamos a poner como ejemplo en todas las clases de diseño de cuestionarios de cómo no hay que hacer las cosas. En muchos casos introducen dos alternativas no mutuamente excluyentes connotando en una dirección determinada y cargando el sesgo para que salga aquello que quiere el entrevistador".

"En las preguntas, que son nefastas, se han hecho tres cosas mal. Están enmarcadas: empujan en una dirección. Están connotadas: incluyen juicios de valor. Y están sesgadas: las respuestas no son categorías neutras", resume Simón.

La encuesta, al fin y al cabo, no deja de ser muy similar a la que encargó el PP madrileño a GAD3 hace cosa de un mes. En aquella ocasión la encuesta también asumía unas tesis en concreto —en ese caso, las de los populares— y contaba con preguntas tendenciosas y dirigidas.

"Evidentemente también era una encuesta connotada. Pero el CIS es un instituto público y, por lo tanto, su caso es muy preocupante. No debería dedicarse a hacer encuestas que sean algo así como fast food para marcar la agenda en lugar de encuestas que tengan una solidez sociológica o electoral", explica Simón.

En la misma línea se expresa Lluís Orriols, que también es profesor de Ciencia Política en la Universidad Carlos III: "Es una encuesta con preguntas excesivamente ad hoc de un caso concreto. El CIS debería dedicar los recursos a cuestiones más de interés sociológico y de la investigación básica social. Las preguntas eran más propias de lo que haría una empresa demoscópica para un medio de comunicación".

"Son preguntas muy pegadas a un acontecimiento y a la actualidad y se hicieron en pocas horas. Entonces, inevitablemente se hacen sin una validación y de forma precipitada y los estándares de calidad acaban cayendo. Ese es el problema de una encuesta de estas características. Puedo entender que un medio le pida a una empresa demoscópica privada que haga una encuesta y ahí el rigor de las preguntas pueda deteriorarse un poco en aras de la actualidad, pero esa no es la tarea del CIS. El CIS no es GAD3 ni 40DB ni cualquier otra empresa", explica Orriols.

Dónde están los votantes de derechas

Además, la muestra de la encuesta está sesgada hacia la izquierda. El 27,2% de los encuestados asegura haber votado al PSOE en las últimas generales y solo el 19,3% al PP. En realidad, el 23J el PP cosechó el 33,06% de los votos —le apoyaron el 22,01% de los españoles con derecho a voto— y el PSOE, el 31,68% —le apoyaron el 21,10%—. Pero los expertos aseguran que esto no es algo que se le pueda achacar al CIS.

"Es algo completamente normal. Pasa en cualquier encuesta. En España históricamente ha habido un sobrerecuerdo de la izquierda y un subrecuerdo de la derecha", explica Bescansa. "Esos sesgos muestrales les ocurren a todas las empresas demoscópicas. El tema es tener los suficientes instrumentos para poder ponderar y corregirlos con rigor. No es algo que a priori podamos criticar al CIS", coincide Orriols.

De todos modos, Simón apunta a que un cuestionario tan dirigido podría haber llevado a algunos encuestados a acabar apoyando al PSOE. La encuesta incluía estimación de voto y preveía un 38,6% de apoyo a los socialistas por solo un 29,2% al PP. "La encuesta no estaba preparada para hacer estimación porque no incluye algunos de los parámetros estándares para ello, como la segunda preferencia de voto", explica Orriols.

Lo que él no tiene tan claro es si el diseño del cuestionario puede haber llevado a más entrevistados a optar por el PSOE, pero asegura que es una hipótesis a estudiar. "O si el CIS como está tan marcado acaba haciendo que mucha gente conservadora no quiera contestar a sus encuestas. Es posible que los votantes de derechas ahora quieran responder menos al CIS porque es el CIS de Tezanos. No lo podemos contestar a día de hoy, pero el CIS sí podría saberlo", explica el experto.

"Si quieren regenerar, podrían empezar por el CIS"

En lo que sí coinciden todos los expertos es en el problema que hay con el CIS en la actualidad y en la necesidad de regenerar el funcionamiento de la institución. Àngels Barceló preguntó al presidente Pedro Sánchez por esta posibilidad en una entrevista en Hoy por Hoy este martes. Sánchez solo respondió sacando pecho de que el CIS publica "los datos brutos de los estudios demoscópicos". Aunque los expertos aseguran que el problema del CIS no es la falta de transparencia.

"El CIS publica los datos brutos, pero faltaría más. Los datos del CIS son propiedad de toda la sociedad española", responde Bescansa. Igual contesta el resto. "El CIS no es una empresa demoscópica al servicio del Gobierno. Faltaría más que los datos no fueran públicos para quien quiera usarlos. Eso no es ni un estándar de calidad", asegura Orriols.

En la entrevista, además, Sánchez aseguraba que solo el CIS y dos medios de comunicación publicaban los datos brutos de sus encuestas, pero tampoco es cierto. De hecho, el presidente olvida en su respuesta que actúan de la misma forma el resto de centros públicos, como el CEO catalán o el Centro de Estudios Andaluces (CENTRA).

"Llevamos años con ese CIS con datos públicos y gratuitos. No es que el CIS haya hecho los datos públicos ahora. Hace años que es así y la polémica se ha dado ahora. Se ha dado ahora porque el CIS ha hecho cosas que son particularmente graves, como romper series históricas o la evidente falta de rigor en la estimación de voto", explica Orriols.

El doctor en Ciencia Política es especialmente duro: "Pedro Sánchez no sé si sabrá el nivel de deterioro que tiene el CIS como institución, pero si no lo sabe es porque no quiere porque somos muchísimos los que llevamos muchísimo tiempo denunciándolo. El CIS ha entrado al pimpampum de la trinchera política y a la confrontación trivial y eso ha provocado un deterioro que se acepta en lugar de subsanarse. Es una causa perdida".

Público hizo llegar al CIS una serie de preguntas sobre la realización de esta encuesta flash. El centro ha declinado responderlas y se ha dirigido únicamente a la entrevista a José Félix Tezanos en 24 horas, el programa de Radio Nacional de Josep Cuní. PP, Ciudadanos y ERC han denunciado ante la Junta Electoral la realización de esta encuesta por haberse publicado durante la campaña electoral de las catalanas. El presidente del CIS respondió en el programa de Cuní que lo que sucede es que "les molesta que se hagan encuestas".

Tezanos, una vez más, defendió su labor y se posicionó públicamente. Cuní le preguntó por la polémica cuestión en la que se daba como opción que la causa contra Begoña Gómez "es una manera de meterse con Pedro Sánchez e intentar hacerle daño". "¿Había causa realmente? Si hay causa y una persona ha cometido un delito, hay causa. Pero si de lo que se trata es simplemente, de una manera torcida, de hacer daño a su pareja, es una deriva inquietante de la política y por lo que parece el ciudadano español es sensible y ha captado esa situación", respondió el presidente del CIS.

En realidad, solo el 48,2% de los encuestados se decantó por esa opción, por un 30,5% que consideró que la causa sí estaba justificada. Peor fue el resultado para Sánchez en la pregunta a los encuestados sobre si apoyaban "el gesto y la actitud del presidente al hacer pública dicha carta". El 43,1% sí lo hacían. El 44,6%, no.

"Diseñar así una encuesta no beneficia a nadie porque quien recibe esas preguntas identifica inmediatamente en qué posición está el que le está preguntando. Los datos están contaminados y, además, la encuesta les sale mal porque incluso en esa pregunta la respuesta negativa está casi dos puntos por encima. El problema de un cuestionario que está mal hecho es que ni siquiera te sirve para ayudar a nadie", resume Bescansa.

Uno de los temas que se ha puesto en el centro de la opinión pública tras la carta de Sánchez y su decisión de continuar es la regeneración de las instituciones y de la vida política. Pero ya hace tiempo que los expertos pedían esa regeneración para el caso del CIS.

"El CIS es un centro con un prestigio cultivado a lo largo de muchísimos años y tiene que estar fuera del conflicto político y mediático. Hay que protegerlo para sacarlo de ese foco de conflicto y ya va siendo hora de que se haga", detalla Bescansa.

Orriols va más allá: "Necesitamos regenerar el CIS. Si hablamos de regeneración, sin duda el CIS podría ser un buen ejemplo de que el propio Gobierno se aplica algo a sí mismo y se toma en serio esa intención". "Si quieren hacer un plan de regeneración, desde luego ya podrían empezar por el Centro de Investigaciones Sociológicas", coincide Simón.