Chybione,choć niesfałszowane sondaże

Całkowicie słuszny jest dość powszechny pogląd, że wiele badań opinii publicznej  służy manipulacji. Pisałem o tym między innymi w tekście pt. "Obiektywizm badaczy opinii publicznej" (23 V 2010). Fałszować można na każdym etapie procesu badawczego, formułując pytania, układając strukturę kwestionariusza wywiadu, dobierając próbkę badawczą czy wybierając sposób komunikowania się z respondentami. Nie mówiąc o innych, jak na przykład ważenie. Bywa także, że ten krytycyzm jest przesadzony, o czym też pisałem na  swoim blogu w dniu 19 IV 2011 r. ("Przesadna krytyka sondaży"). Bywa jednak i tak, że wyniki sondaży bardzo odbiegają od rzeczywistych wyników wyborów i nie jest to wynikiem złych intencji, tylko niemocy badacza z powodu oporu badanej materii. Tak właśnie zdarzyło się w odbytych w ubiegłym miesiącu wyborach do parlamentu kanadyjskiej prowincji Quebec. Wpadkę sondażowni porównuje się z ostatnim wielkim blamażem, który dokonał się w czasie wyborów w brytyjskiej Kolumbii w 2013 r. Wtedy to przewidywano, że wygra NDP z przewagą 7%, a w rzeczywistosci wygrali Liberałowie z przewagą 4%, czyli różnica wyniosła 11%.

Wybory w Quebecu wygrała nowopowstała, konserwatywna  partia polityczna Coalition Avenir Quebec (CAQ). Do samodzielnych rządów potrzebowała 63 miejsca w parlamencie, a zdobyła 74, co daje jej swobodę rządzenia przez najbliższe lata. Według CBC's Quebec Poll Tracker syntetyzującego przewidywania kilku największych sondażowni (Forum Research, Research Co., IPSOS, Mainstreet, Leger, CROP i FORUM)  CAQ miała zdobyć 32.6% głosów, a zdobyła 37.4%. Natomiast Partia Liberalna zamiast przewidywanych 29.3% osiągnęła jedynie 24.8%. 

Oczywiście, że jak to bywa w cywilizowanym społeczeństwie zaczęła się dyskusja publiczna na temat zgodnie poniesionej porażki badaczy opinii publicznej. W jej wyniku, też zgodnie, uznano, że głównym powodem była próbka badawcza, czyli dobór respondentów. Na ten temat pisałem w jednym z czterech odcinków serialu na te tematy jakie zamiescilem na swym blogu w dniach: 14 XII 2010 r.  - 25 XII 2010 r. Nosił on tytul: "Dobór próbki [Trafność sondaży (III)]". Napisałem tam tak:

"Podstawowa zasada doboru respondentów jest zasadą jednakowej szansy wylosowania każdego członka badanej populacji ("equal probability of selection principle"). Dokładniej, idzie o takie zaprojektowanie metody doboru badanych osob, by każdy członek populacji miał znaną, inną niż zero, szanse bycia wybranym. Dzięki temu możliwe jest oszacowanie możliwego błędu doboru próbki. A przede wszystkim zapewnia się duży stopień reprezentatywności próbki w stosunku do całej populacji. Interesujące, że dużo sondaży przeprowadza się w świecie [także w Polsce] bez użycia odpowiedniego modelu losowania respondentów. A wtedy, mimo, że autorzy podają margines błędu, błąd próby nie tylko nie jest znany, ale nawet nie jest wyliczalny. Tym samym podawany margines błędu jest tylko metaforą i pelni funkcje ozdobnika".

Jeżeli wylosuje się komputerowo próbkę o strukturze odbiegającej od struktury populacji  wynikającej z ostatniego Spisu Powszechnego, to stosuje się metodę ważenia polegającą na korygowaniu surowego materiału w celu zwiększenia trafności wyników. Jasne, że jest tu pole do nadużyć. Pisałem o tym na tym blogu w tekście pt. "Ważenie- ciche narzędzie naginania wyników sondaży" (28 IX 2011).

Tyle, że w tym przypadku próbka badawcza została dobrana zgodnie z regułami sztuki metodologicznej. O cóż więc do diabła chodzi? Otóż jest też inna, bardzo ważna struktura populacji  wyborców złożona z cech uznawanych za ważne. Idzie o aktywność, jednym się może nie chcieć ruszyć ... z fotela, podczas gdy inni pocwałują entuzjastycznie do lokali wyborczych. W tym przypadku poszło o dotychczasowych zwolenników Partii Liberalnej (głos w poprzednich wyborach) oraz podział uznawany w Quebecu za kluczowy: frankofoni (francuskojęzyczni) - nie-frankofoni. Po wyborach wyliczono, że frekwencja ogólna wyniosla 66.5%. Tymczasem w 8 na 9 okręgach wyborczych o największej liczbie nie-frankofonów wyniosła poniżej 60%.  Jeszcze inaczej, w całej prowincji nie głosowalo aż 47% nie-frankofonów. W okręgach wygranych przez CAQ frekwencja wynosila 69.4%, podczas gdy w okręgach wygranych przez Partię Liberalną, tylko 59.3%.  Dotychczasowi zwolennicy Liberałów wykazali bierność.

Za drugi czynnik mylący badaczy uznano zmienność/swawolność elektoratu ("volatility of the electorate"). Okazało się, że 36% głosujących podjęło swą decyzję w ciągu ostatniego tygodnia poprzedzającego dzień wyborów. Co ciekawe, 11% ludzi podjęło ostateczną decyzję dopiero po przybyciu do lokalu wyborczego. O zmienności poglądów elektoratu świadczy też analiza dokonana przez sondażownie Mainstream Research, według której w ciągu ostatnich 4 dni podwoiła się (do 11%) liczba zwolenników Liberałów, którzy deklarowali, że "zupełnie prawdopodobnie" zmienią swoje zdanie.

Zdaniem dyskutantów i analityków to wszystko jeszcze nie tłumaczy w pełni wpadki quebeckich sondażowni. Ja tam bym był skłonny  im pomóc. W ramach wspomnianego serialu napisałem tekst pt. "Sondaże wyborcze w Wielkiej Brytanii" (14 XII 2010). A w nim była analiza wielkiej klęski brytyjskich sondażowców w wyborach parlamentarnych w 1992 r. Główne sondażownie w liczbie pięciu przewidywaly zwycięstwo Labour Party różnica 0.8%, podczas gdy w rzeczywistości triumfowała Partia Konserwatywna uzyskując 7.5% przewagi. Analizy powyborcze ustaliły, że sprawcami wpadki były następujące czynniki: błędnie dobrana próbka badawcza - 2%, a zmiana decyzji w ostatniej chwili ("late swing") - prawie 2%. Największy jednak wpływ  (4-5%) miało zjawisko zwane "Wstydliwymi Konserwatystami" (Shy Tories). Polegało na tym ,że poparcie konserwatystów było niedoszacowane, z tego powodu, że respondenci troche się krępowali przyznawać do poglądów koserwatywnych. Na skutek tego skrępowania, ale pewnie i manipulacji, poparcie dla konserwatystów było systematycznie niedoszacowane w wyborach 1992, 1997, 2001 i 2005.

Chciałbym wiedzieć które z opisanych zjawisk będą miały  zastosowanie w serii wyborów mających odbyć się w Polsce jesienią oraz w roku 2019.

PS. Przy okazji, nostalgicznie porównalem sobie popularność moich seriali. Ten  o sondażowniach przyniósł niezle plony. Jakkolwiek opublikowany w dzień po jego zakończeniu tekst pt. "Prawda o G.Sorosu" miał 6 539 odslon. Jednak spośród moich seriali najbardziej procentował siedmioodcinkowiec  o nazwie: "Analiza dezinformacji" (28 VIII 2010 - 4 IX 2010) o technikach manipulowania społeczeństwem. Zainteresowanie wzbudza też problematyka żydowska. Wśród 10-tysieczników znalazł się kawałek zatytułowany: "Wyrzucenie żydów z Anglii". Jednak większy sentyment mam do tekstu pt. "Niemiecki cmentarz pod Monte Cassino" (10 010 odsłon).