Weil derzeit fast täglich Wahlumfragen veröffentlicht werden und viele nicht wissen, was von solchen Umfragen zu halten ist, hier mal eine kleine Einführung.
Die Grundidee von Umfragen ist ja, dass man aus den Antworten einer Gruppe von Wählern auf das Stimmverhalten aller Wahlberechtigen schließen kann. Das funktioniert generell ganz gut, wenn die Meinungsforscher ein paar Grundregeln einhalten.
Wie werden die Befragten ausgesucht?
Das „Sample“ der Befragten darf nicht zu klein sein und alle Wähler müssen die gleiche Chance haben, befragt zu werden. Aus einer Umfrage in einer Vorlesung am Wiener Publizistikinstitut wird man keine sinnvollen Aussagen über das Wahlverhalten der Gesamtbevölkerung gewinnen können, auch nicht über das der Wiener Wähler, ja nichtmal über alle Studierenden sondern maximal über die Publizistik-Studierenden in Wien (und selbst das ist problematisch).
Die ideale Methode für eine Umfrage zur Nationalratswahl wäre deshalb eine reine Zufallsstichprobe aus einer Liste aller 6,4 Millionen Wahlberechtigten, die sich dann auch alle befragen lassen. Leider funktioniert das in der Praxis nicht.
Wie viele Befragte braucht man?
Deshalb wird häufig mit sogenannten Quotenverfahren gearbeitet. Die Meinungsforscher versuchen alle relevanten Bevölkerungsgruppen (Geschlecht, Alter, Wohnort, Berufe, Einkommen) in ihrem Sample halbwegs „repräsentativ“ abzubilden. Das verzerrt allerdings die statistische Zuverlässigkeit der Umfragen.
Wie groß muss das Sample nun sein? Als Faustregel gilt: Ab 800 wird es interessant, aber mehr sind besser, 1.500 sind schon wirklich gut. Warum? Je mehr Befragte, desto kleiner wird die „Schwankungsbreite“, also jener Bereich, in dem das wirkliche Wahlresultat vom Umfrageergebnis abweichen kann. Allerdings wird dieser Effekt nach oben hin immer geringer, extrem teure Umfragen mit 10.000 Befragten würden sich also nur lohnen, wenn man auch aussagekräftige Ergebnisse für kleine Untergruppen aus der Stichprobe braucht.
Wie funktioniert das mit der “Schwankungsbreite”?
Und – ganz wichtig, denn das wird meistens übersehen: Die Schwankungsbreite ist auch innerhalb derselben Umfrage unterschiedlich hoch. Ein konkretes Beispiel: Wenn bei 800 Befragten eine Partei auf 50 % kommt, eine andere auf 25 % und die dritte auf 5 %, dann verteilen sich die Schwankungsbreiten so:
50%: Schwankungsbreite ± 3,5 %, das Ergebnis kann also zwischen 46,5 und 53,5 % liegen.
25%: Schwankungsbreite ± 3,0 %, also zwischen 22 und 28 %.
5%: Schwankungsbreite ± 1,5 %, also zwischen 3,5 und 6,5 %.
Das alles gilt mit einer Wahrscheinlichkeit von 95 %, das heißt bei einer von zwanzig Umfragen mit 800 Befragten könnte das Ergebnis für die Grundgesamtheit auch noch außerhalb dieser Werte liegen. Was passiert nun, wenn man statt 800 Menschen 1.200 befragt – außer, dass die Umfrage deutlich teurer wird?
Bei der Partei mit 50 % sinkt die Schwankungsbreite auf ± 2,8, bei 25 % auf 2,4 und bei 5 % auf ± 1,2 %.
Bei 2.000 Befragten schrumpft die Schwankungsbreite auf max. ± 2,2 %.
Allerdings sind derart große Umfragen so teuer, dass sie in Österreich kaum jemand macht, jedenfalls keine Medien. Üblicherweise beauftragen die großen Parteien für ihren Wahlkampf ein, zwei so große Untersuchungen, vor allem auch, damit sie auch zuverlässige Ergebnisse für bestimmte Wählersegmente herausrechnen können.
Die “Sonntagsfrage” (“Für wen würden Sie stimmen, wenn am Sonntag Wahlen wären?”) spielt dabei kaum eine Rolle, es geht da vor allem um strategische Erkenntnisse. Ergebnisse aus solchen internen Studien werden aber nur selten veröffentlicht, außer eine Partei erhofft sich was davon.
400-er Umfragen einfach ignorieren
Nur zum Vergleich: Manche Zeitungen veröffentlichen auch gerne Umfragen mit nur 400 Befragten. Die sind vergleichsweise billig, allerdings liegt ihre max. Schwankungsbreite (und das nur, wenn sie sauber gemacht ist) bereits bei ± 4,9 %. Das heißt, eine 50 %-Partei könnte auch rund 45 oder 55 % bekommen. Bei diesem Sample noch eigene Ergebnisse für Wähler in Tirol oder im Burgenland auszuwerten oder für die Sympathisanten der Neos oder Grünen ist absolut unseriös. Da geht es um wenige Dutzend Antworten, die sich nicht mehr sinnvoll hochrechnen lassen.
Und generell gilt: Umfrageergebnisse mit Kommastellen bitte gleich vergessen, da wird eine absurde Scheingenauigkeit vorgespiegelt, die mit der Realität nichts zu tun hat.
Ebenso sinnlos ist es, davon zu reden, dass eine Partei „zulegt“ oder „zurückfällt“ oder eine andere Partei „überholt“, weil sich ein oder zwei Prozentpunkte verschoben haben. Das liegt – auch bei größeren Umfragen – alles innerhalb der Schwankungsbreiten und hat keinerlei Aussagekraft.
Antwort-Verweigerer und “Rohdaten”
Jetzt kommt aber noch ein Problem dazu, über das fast nie geredet wird: In der Regel geben 20 bis 30 % der Befragten überhaupt keine Antwort. D.h. eine Umfrage mit offiziell 800 Befragten beruht in der Praxis auf rund 600 tatsächlichen Antworten. Die max. Schwankungsbreite steigt damit von ± 3,5 auf 4,0 %, angegeben wird das aber fast nie.
Stattdessen machen die Meinungsforscher etwas anderes: Sie nehmen ihre „Rohdaten“ (also die tatsächlichen Antworten) und schätzen aus Erfahrungswerten, was die Antwortverweigerer wohl sagen würden, wenn sie geantwortet hätten, und auch wie die tatsächlichen Antworten zu bewerten sind. Das klingt auf den ersten Blick unseriöser als es ist.
Zu wenige Freiheitliche, zu viele Grüne
Routinierte Institute haben viel Erfahrung und Datenmaterial. Sie wissen z.B. dass FPÖ-Sympathisanten früher in Umfragen oft nicht sagen wollten, wen sie wählen (eine sogenannte „Unterdeklaration“) und auch ungerne überhaupt an Umfragen teilnehmen, während Grün-Sympathisanten sich überdurchschnittlich gerne befragen lassen. Dementsprechend passen die Meinungsforscher ihre Ergebnisse an. Aber ganz exakte Wissenschaft ist das keine.
Oft wird in Umfragen auch gefragt: Wen haben Sie beim letzten Mal gewählt? Aus den Abweichungen dieses „Recalls“ vom tatsächlichen Ergebnis damals lassen sich ebenfalls Rückschlüsse ziehen. Aber letztlich hat da jedes Institut seine eigenen Methoden – und offengelegt werden sie nie. Ebenso wie fast nie ein Institut seine „Rohdaten“ veröffentlicht – also auch die Zahlen, die ohne jede weitere Bearbeitung tatsächlich in der Umfrage erhoben wurden, was sehr schade ist.
Sprechen sich Meinungsforscher ab?
Oft stimmen sich Meinungsforscher auch untereinander ab. Die Branche in Österreich ist klein, man kennt sich und niemand möchte ganz alleine völlig daneben liegen. Darauf hat kürzlich ein Wissenschafter in einem sehr interessanten Artikel hingewiesen.
Ihm ist aufgefallen, dass die ÖVP in fast allen Umfragen der letzten Monate konstant bei 33% gelandet ist. Das dürfte aber eigentlich nicht sein. Rein statistisch müsste es bei so vielen Umfragen auch welche geben, in denen die ÖVP ein anderes Ergebnis hat (er hat sogar genau ausgerechnet wie oft und wie). Das spricht dafür, dass manche Umfragen bewusst an andere Ergebnisse angepasst wurden.
Woran man seriöse Umfragen erkennt
Und noch ein Hinweis zur Methode: Vergessen Sie reine Online-Umfragen vor Wahlen. Noch immer haben ca. 15 % der Österreicher kein Internet, von den über 65-jährigen ist mehr als die Hälfte offline, gerade die Älteren gehen aber besonders regelmäßig wählen. Außerdem werden für Internet-Umfragen die Befragten aus „Online-Access-Panels“ ausgesucht, für die man sich registrieren muss.
Wer das tut, ist nicht unbedingt repräsentativ für die Gesamtbevölkerung. Ernstzunehmende Wahlbefragungen werden zumindest teilweise auch persönlich oder am Telefon durchgeführt.
Und wenn Medien seriös mit Umfragen umgehen, berichten sie neben den Ergebnissen auch über Befragungsmethode, Fragestellung, Samplegröße, Schwankungsbreiten, Umfragezeitraum, Auftraggeber und Institut. (Der Verband der ö. Meinungsforscher hat sogar einen eigenen Kriterienkatalog erstellt, woran man eine ordentlich gemachte Umfrage erkennt. Details dazu gibt es hier.
Eine Umfrage ist keine Prognose
Auch niemals vergessen: Eine Meinungsumfrage ist keine Prognose. Sie ist eine Erhebung über die Meinungen der Befragten zum Zeitpunkt der Umfrage. Bis zur Wahl können sich diese durchaus noch ändern.
Und zum Schluss noch die jüngste – sehr interessante – Umfrage zur Nationalratswahl (siehe Foto unten): Interessant ist sie, weil dafür immerhin 1.500 Menschen (also ungewöhnlich viele) befragt wurden, weil aber auch angegeben wird, wieviele davon auch die entscheidende „Sonntagsfrage“ beantwortet haben, nämlich 1.317.
Überhaupt wird diese Umfrage außergewöhnlich seriös und umfassend präsentiert – und zwar ausgerechnet in der Boulevardzeitung „heute“, während sogenannte Qualitätszeitungen mit Umfragen oft sehr viel schlampiger umgehen, von kleinen Samples bis zu fehlender Dokumentation.
Was bedeutet die neueste Umfrage?
Was kann man nun aus diesen Zahlen wirklich herauslesen? Mit Stand Ende September lag demnach die ÖVP gesichert über 30 % und vor der SPÖ, der Abstand könnte allerdings zwischen 2,8 und 13,1 Prozentpunkten schwanken. Völlig offen ist hingegen, ob die SPÖ vor den Freiheitlichen Zweiter wird oder umgekehrt. Die FPÖ könnte nach diesen Zahlen auch 1,9 Prozentpunkte vor der SPÖ landen oder 5,9 Prozentpunkte dahinter.
Grüne, Neos und Pilz kommen hier alle auf vier Prozent (bei einer Schwankungsbreite von ± 1,1 %), d.h. sie können in den Nationalrat einziehen oder knapp an der Vierprozenthürde scheitern. (Es ist allerdings sehr unwahrscheinlich, dass alle drei den Einzug verfehlen.)
Wenn Sie generell mehr zum Thema Umfragen wissen wollen, empfehle ich Ihnen die superspannende Website neuwal.com die alle veröffentlichen Wahlbefragungen dokumentiert und auch bewertet. Und falls Sie für eine konkrete Umfrage die Schwankungsbreiten genau wissen wollen – ein Statistiker hat dazu ein kleines praktisches Tool gebaut.