Dieci buoni motivi per non credere (troppo) ai sondaggi – 9. Il “wording”
- Dettagli
- Categoria: Italia
9-Fa riferimento alle “parole” che si utilizzano nella formulazione delle domande di un questionario 10. bias diventa rilevante il ruolo del ricercatore, nel momento in cui compie l’analisi dei dati raccolti e ne comunica i risultati
13 Luglio 2022 - di Paolo Natale fondazionehume.it lett6’
9-Fa riferimento alle “parole” che si utilizzano nella formulazione delle domande di un questionario: la scelta di queste parole può determinare risultati di un sondaggio completamente diversi gli uni dagli altri. Uno dei primi e più famosi casi “esemplari” della distorsione introdotta dal wording, della possibile ambiguità cioè nel registrare le opinioni della popolazione, ci riporta a quanto avveniva negli USA durante la guerra del Vietnam (un esempio per certi versi simile a quanto accade oggi rispetto al conflitto Russia-Ucraina): i quotidiani pro-intervento pubblicavano sondaggi in cui emergeva come la maggioranza degli americani fosse favorevole a “proteggere il popolo vietnamita dall’influenza sovietica”; i quotidiani anti-interventisti pubblicavano viceversa sondaggi dove la maggioranza si dichiarava contraria a “mandare i propri figli a combattere e a morire in Vietnam”. Ma tutti i giornali titolavano semplicemente: “Gli americani sono a favore (oppure contro) il ritiro delle truppe”.
Attraverso la scelta di formulare una domanda in un certo modo, usando determinate parole, si potrebbe facilmente manipolare l’opinione pubblica, facendo intuire come la popolazione sia contraria, oppure favorevole, ad un aspetto della vita sociale o ad un avvenimento pubblico. Come dire: scegliendo le parole “giuste”, posso far dire al mio campione di intervistati, in certa misura, ciò che voglio che mi dica.
Ambiguità di questo genere possono avere conseguenze negative per un altro degli scopi principali per cui si effettua un sondaggio, quello cioè di rilevare la diffusione di uno specifico atteggiamento, non altrimenti quantificabile: il tipo di domanda che viene rivolta agli intervistati, al fine di “misurare” questo atteggiamento, può infatti dar luogo a risultati a volte speculari. Il seguente breve esempio, tratto da due sondaggi realmente effettuati, chiarisce bene i termini del problema.
L’obiettivo delle indagini era il medesimo: quantificare il livello di xenofobia presente nel nostro paese. Nel primo sondaggio, si chiedeva agli intervistati se li disturbasse la presenza di troppi immigrati in Italia: il 70% rispose affermativamente. Nel secondo sondaggio, venne invece chiesto agli intervistati se potessero mai prendere in considerazione la possibilità di sposare una persona immigrata: in questo caso il 66% rispose affermativamente.
Due risposte che, ad una lettura superficiale, sembrano rilevare due realtà antitetiche. Se il mio obiettivo è capire quanto sono xenofobi gli italiani, utilizzando la prima formulazione dovrei affermare che sono molto xenofobi, utilizzando la seconda formulazione dovrei giungere ad opposte conclusioni.
Nessuna delle due è di per sé scorretta; enfatizzano solamente due modalità (auto)percettive differenti: la prima ha a che vedere con la dimensione macro (collettiva), la seconda con quella micro (individuale). Come dire: il fenomeno migratorio appare socialmente disturbante, mette in crisi alcune delle mie sicurezze future; ma una singola persona immigrata, se mi piacesse, potrebbe nel caso anche diventare mio marito, o mia moglie.
Come decidere allora se è preferibile utilizzare la prima o la seconda formulazione? Non esistono criteri oggettivi. Dipende in parte dalla sensibilità del ricercatore, in parte dalle risorse a disposizione e in (larga) parte dall’obiettivo del sondaggio. A volte, purtroppo, “manipolativo”. Se il committente è un partito che vuole attuare una politica di rigidità verso l’immigrazione, sarà infatti più favorevole a rendere pubblici i risultati della prima domanda; se al contrario è un partito propenso ad una politica di apertura, renderà più facilmente pubblici i risultati della seconda domanda.
Al di là delle possibili manipolazioni, e considerando le finalità conoscitive di un sondaggio, è auspicabile che il buon ricercatore espliciti il testo esatto della domanda che è stata posta, in modo tale che si renda chiaro al lettore di cosa stiamo esattamente parlando, quando riportiamo i risultati del sondaggio.
Paolo Natale
*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza
10. Dieci buoni motivi per non credere (troppo) ai sondaggi – 10. Analisi ex-post
14 Luglio 2022 - di Paolo Natale
Società
2-Se i precedenti nove tipi di distorsioni si riferiscono alle procedure e alla corretta formulazione del questionario utilizzato in un sondaggio, in quest’ultimo bias diventa rilevante il ruolo del ricercatore, nel momento in cui compie l’analisi dei dati raccolti e ne comunica i risultati. È proprio la scelta delle modalità attraverso cui analizza le risposte che gli giungono dalle interviste a diventare dirimente, poiché le sue scelte possono far mutare completamente il senso e la direzione dei risultati che vengono successivamente comunicati ai media.
Per capire la portata delle conseguenze che possono avere le scelte del ricercatore, prendiamo in considerazione una delle stime che vengono realizzate e comunicate più frequentemente: la popolarità o la fiducia in un leader politico, ovvero nel governo o nel premier. Esistono ovviamente molti modi per “misurare” la popolarità, ad esempio, di un capo dell’esecutivo e, come si è detto nel precedente punto 8 (l’errore di indicazione), non potremo mai sapere quale sia la modalità migliore da proporre agli intervistati. Nel nostro paese molti Istituti di ricerca utilizzano a questo scopo la ben nota “pagella”, con la seguente formulazione (o altre simili): “Quanta fiducia ha nel Presidente del Consiglio, su una scala da 1 a 10?”.
La modalità più diffusa per analizzare e comunicare le risposte a questa domanda è quella di prendere in considerazione la percentuale delle valutazioni positive, da 6 a 10 dunque. È una scelta corretta? Pensiamo ad una situazione simile, o parallela: un fidanzato chiede alla fidanzata quanta fiducia ha in lui o quanto lo ama, da 1 a 10, e la fidanzata risponde 6. Un motivo per lasciarla immediatamente, un amore non può rimanere in piedi con un livello attrattivo così contenuto. Anche un 7 non darebbe forse la possibilità di costruirsi un futuro insieme. I voti realmente positivi, che danno una buona speranza per il proseguimento del rapporto, vanno da 8 a 10, questo è certo.
La scelta cruciale anche per il ricercatore riguarda dunque quale sarà il voto minimo da prendere in considerazione, sei sette o otto, con conseguenze evidenti sul risultato che viene comunicato ai media. In un recente sondaggio su Mario Draghi, utilizzando tutti i voti positivi, il livello di fiducia degli italiani nei suoi confronti risultava pari al 60%; considerando i voti da 7 a 10, la fiducia scendeva al 50%, mentre prendendo come base solo le valutazioni molto positive (da 8 a 10), si arrivava appena al 38%. Nessuna scelta è a priori scorretta, ma è immediatamente evidente che se si vuole sottolineare come Draghi non sia abbastanza apprezzato dalla popolazione, si opterà per la scelta più restrittiva, laddove si terrà in considerazione quella più ampia (tutti i voti positivi) volendo indicare al contrario un’ampia fiducia nel premier da parte degli italiani.
La discrezionalità della scelta del sondaggista appare dunque evidente, e non può venir superata dalla possibile comparazione con altri leader politici, come accade nelle analisi che riguardano la popolarità di questi ultimi, poiché il Presidente del Consiglio è uno solo e, al massimo, può venir confrontato con i suoi predecessori, cosa che peraltro non viene fatta quasi mai. Una soluzione che rende accettabile la scelta adottata (quella consueta è come detto di considerare tutte le valutazioni positive) consiste nel presentare, accanto al dato attuale, anche il trend della fiducia in lui nei mesi precedenti, per comprendere quanto meno se la sua popolarità sia in crescita o in calo.
Ma forse la scelta in assoluto ottimale sarebbe quella di suddividere i voti positivi in due fasce, quella molto positiva (da 7 a 10) e quella appena sufficiente (il voto pari a 6). Se la percentuale dei “6” fosse molto elevata, risulterebbe immediatamente evidente come quel personaggio venga valutato, in qualche modo, solo come “il minore dei mali”, ma senza un grande trasporto.