Wie Umfragen zu lesen sind und welchen Wert sie haben

Wenn es darum geht, die aktuelle Stimmungslage in Wahlkämpfen zu erfassen, richtet sich der Blick meist zuerst auf Umfragen. Je nach Ergebnis nutzt man sie für die eigenen Zwecke. Etwa zur Mobilisierung der Wählerschaft oder auch zur strategischen Ausrichtung des Wahlkampfs. In den kommenden Monaten bis zur US-Präsidentschaftswahl Anfang November werden Republikaner, Demokraten und die mediale Berichterstattung immer wieder auf die Lage der Umfragen eingehen.
Umso wichtiger ist es, Meinungserhebungen möglichst korrekt zu lesen und einordnen zu können. Im Folgenden werde ich einige besonders wichtige Faktoren darstellen.
Zum Ende des Artikels gehe ich auch nochmal auf die Situation vor der Präsidentschaftswahl 2016 ein und stelle dar, dass nicht die Umfragen falsch lagen, sondern die öffentlich vereinfachte Darstellung und Wahrnehmung irreführend war.

Zunächst sind zwei ganz allgemeine Punkte wichtig, die auch hier im Blog bereits mehrfach thematisiert wurden. Dabei beziehe ich mich ausschließlich auf die Umfragen "Trump vs Biden". Im Anschluss schauen wir genauer auf die Struktur von Umfragen.
Ich empfehle, sich immer selbst ein detailliertes Bild einer Umfrage zu machen.

10 Punkte, die bei Umfragen zu beachten sind

1. Landesweite Umfragen haben kaum Aussagekraft

Aufgrund des Wahlsystems und des Electoral College sind landesweite Umfragen, also über alle Bundesstaaten hinweg, praktisch nicht relevant. Anhand derer Entwicklung kann man zwar ggf. erkennen, wie das Stimmungsbild im Allgemeinen ist, aber die Werte helfen nicht dabei, einschätzen zu können, welcher Kandidat die Wahl gewinnen wird.

2. Einzelne Bundesstaaten sind entscheidend

Demnach sind Umfragen aus den einzelnen Bundesstaaten besonders bedeutend. Die für die Wahl des US-Präsidenten relevanten Wahlmännerstimmen werden je nach Ergebnis pro Bundesstaat vergeben. Der Gewinner erhält alle Wahlmännerstimmen, egal wie knapp oder deutlich das Ergebnis ausgefallen ist.
Auch anhand der einzelnen Umfragen ist erkennbar, in welchen Bundesstaaten ein besonders eng umkämpftes Rennen zu erwarten ist. Auch wenn die Bedeutung der Begrifflichkeiten nicht einheitlich ist und sich im Detail auch unterscheidet, werden diese Bundesstaaten häufig als "Battleground States", "Swing States" oder "Toss-Up States" bezeichnet.
Die Ergebnisse von Umfragen können einen Wahlkampf dahingehend beeinflussen, festzustellen, ob es sich lohnt, in einem bestimmten Bundesstaat verstärkt Wahlkampf zu betreiben. Im Detail kann man auch erkennen, welche Bevölkerungsgruppen Ziel des eigenen Wahlkampfs werden sollten. Beispielsweise kann nach Alter, Geschlecht, Herkunft, Ethnie, Bildung oder Wohlstand differenziert werden.

3. Umfragen sind immer nur ein Abbild der aktuellen Stimmungslage

Je länger der Wahltermin noch in der Zukunft liegt, desto wichtiger ist es darauf hinzuweisen, dass Umfragen die Stimmung oder auch die Wahlabsichten zum aktuellen Zeitpunkt der Meinungserhebung abbilden. Allein aufgrund der heutigen Umfragen kann keine seriöse Prognose über den Wahlausgang getroffen werden.
Je dichter der Wahltermin heranrückt, desto intensiver schaut man allerdings auf die Umfragen. Wenige Wochen oder sogar Tage vor der Wahl sind gewiss schon ziemlich genaue Rückschlüsse auf den Ausgang in den einzelnen Bundesstaaten möglich.

4. Qualität der Umfragen

Es gibt sehr viele Umfragequellen in den USA und bei weitem nicht alle sind geeignet, sie als repräsentativ und seriös zu bezeichnen. Es ist möglich, sich über einen etwas längeren Zeitraum eigene Bewertungen zu erstellen.
Wer sich diese Mühe nicht machen will, kann auch auf eine bereits existierende sachliche Bewertung zurückgreifen. Die Internetseite fivethirtyeight.com hat beispielsweise ein Rating vorgenommen und dabei die unterschiedlichen Quellen genauer unter die Lupe genommen. Dabei hat die Seite u.a. Faktoren wie Erfahrung und Anzahl, Genauigkeit, Fehlerquote und auch eine tendenzielle Überbewertung von Demokraten und Republikanern berücksichtigt. Diese und weitere Faktoren sind dann in ein Rating (A, B, C, D, F) eingeflossen. Umfragequellen der schwachen Qualität D und F werden hier im Blog grundsätzlich auch nicht zu finden sein.

5. Umfrageergebnisse derselben Quelle vergleichen

Es ist ratsam, sich die Entwicklung der Umfragen aus einer Quelle anzusehen, weil diese mehr über den Trend aussagt, als der Vergleich zweier Umfragen aus verschiedenen Quellen. Beispiel:

• Umfragequelle A neu vom 13. Jan. - Kandidat 1 hat 1 % Vorsprung
• Umfragequelle B neu vom 07. Jan. - Kandidat 1 hat 3 % Vorsprung
• Umfragequelle C neu vom 03. Jan - Kandidat 1 hat 6 % Vorsprung
• Umfragequelle D neu vom 01. Jan - Kandidat 1 hat 7 % Vorsprung
• Umfragequelle A alt  vom 22. Dez. - Kandidatin 2 hat 3 % Vorsprung
• Umfragequelle B alt  vom 19. Dez. - Kandidat 1 liegt gleichauf mit Kandidatin 2

An dem Beispiel ist erkennbar, dass Kandidat 1 in den neuen Umfragen vom 07. und 13. Januar bei den Quellen A und B einen geringeren Vorsprung hat, als noch am 01. und 03. Januar bei den Umfragequellen C und D. Daraus zu schließen, dass sich die Stimmungslage für Kandidat 1 verschlechtert hat, wäre jedoch falsch. Der Vergleich muss mit älteren Umfragen aus denselben Quellen stattfinden, hier mit denen aus Dezember. Demnach ergibt sich ein positiver Trend für Kandidat 1.

Der Trend in den Umfragen wäre so jedenfalls sinnvoller darstellbar. Um aber nun den tatsächlichen Stand abzubilden, müssen auch die übrigen Umfragen berücksichtigt werden, was im folgenden Punkt dargelegt ist.

6. Durchschnitt der Umfragen präziser als einzelne Werte

In meinem Blog stelle ich auch immer den Durchschnitt der erhobenen Umfragewerte dar. Dies reduziert die Anfälligkeit für Ungenauigkeiten. Durchschnittliche Werte kommen erfahrungsgemäß dem Endergebnis näher als der Vergleich einzelner Meinungserhebungen mit dem tatsächlichen Ergebnis (ausgenommen Zufallstreffer).
Je dichter der Wahltag rückt, desto besser ist auch die durchschnittliche Vorhersage.

7. Fehlerspanne berücksichtigen

Alle seriösen Umfragen weisen auch eine Fehlerspanne (Margin of Error) aus. Diese liegt in der Regel zwischen 2 und 5 Prozentpunkten. Je niedriger dieser Wert ist, umso sicherer ist sich die Quelle, dass das Ergebnis wie veröffentlicht eintritt. Je mehr Menschen befragt wurden, desto niedriger ist die Fehlerspanne in der Regel.
Die Fehlerspanne zu berücksichtigen ist ein ganz wichtiger Faktor beim Lesen von Umfragen. Ein weiteres Beispiel:

• Kandidat A liegt bei 47 % und Kandidat B bei 53 %.
• Die Fehlerspanne wird mit 4 Prozentpunkten angegeben.
• A könnte also maximal auch bei 51 %  und B bei 49 % liegen.
• Ebenso könnte es sein, dass A bei 43 % und B bei 57 % landet.
• B könnte also statt der dargestellten 6% Vorsprung auch einen 14% Vorsprung erzielen oder eben auch einen knappen 2% Rückstand.

Dieses Beispiel wird später nochmal aufgegriffen, wenn sich der Blick auf die Umfragen aus dem Jahr 2016 richtet.

8. Wer wurde befragt?

Es ist je nach Zeitpunkt und Art der Umfrage wichtig zu unterscheiden, wer befragt wurde. Im Kern wird in den USA zwischen drei Gruppen unterschieden.

• All Adults - Eine Gruppe von Erwachsenen wird befragt, unabhängig davon, ob sie wahlberechtigt sind oder die Absicht erklärt haben, auch tatsächlich wählen zu wollen.
• Registered Voters - Eine solche Umfrage umfasst die registrierten Wählerinnen und Wähler, also jene, die auch tatsächlich wahlberechtigt sind. In Umfragen wird diese Gruppe auch mit (RV) abgekürzt.
• Likely Voters - sind solche Wählerinnen und Wähler, die nicht nur wahlberechtigt sind, sondern auch die Absicht erklärt haben, bei der Wahl mit der sich die Umfrage befasst, tatsächlich wählen zu gehen. In Umfragen wird diese Gruppe auch mit (LV) abgekürzt.

Umfragen, die mit der Gruppe von "All Adults" durchgeführt wurden, sind wenig aussagekräftig. Sie dienen eher einem allgemeinen Stimmungsbild, wie etwa Fragen zu aktuellen Themen (z. B. Krieg, Rassismus, Einwanderung, Coronavirus, Klimapolitik).
Die meisten Umfragen finden zunächst mit der Gruppe der Registered Voters statt. Viele Umfragequellen wechseln dann 4 bis 6 Wochen vor der Wahl zur Gruppe der Likely Voters, die natürlich dann aussagekräftiger ist, als die der RV, in der ggf. auch Nichtwähler sich positioniert haben. In der Gruppe der RV ist zudem zu beachten, dass es tendenziell mehr RV der Demokraten gibt, so dass diese leicht überrepräsentiert sein könnten. Normalerweise wird dies jedoch durch die Umfragequellen berücksichtigt und ausgeglichen.
Bei den Vorwahlen wird zudem auch noch häufig nach "Parteizugehörigkeit" unterschieden.

9. Wer hat in welchem Auftrag gefragt?

Die Umfragequelle als solche sollte auch auf die Intention ihrer Veröffentlichung kritisch hinterfragt werden. Ist der Auftraggeber eine der beteiligten Seiten, darf man schon vermuten, dass die Ergebnisse zugunsten des eigenen Kandidaten ausfallen. Selbst neutrale Stellen könnten auch ein Eigeninteresse daran haben, besonders auffällige Ergebnisse zu präsentieren, um so mehr Aufmerksamkeit zu erlangen.

10. Zeitpunkt der Umfrage beachten

Umfragen sind, wie oben schon erwähnt, Momentaufnahmen. Sie geben das aktuelle Stimmungsbild wieder. Meinungserhebungen, die während oder kurz nach besonderen Ereignissen (Skandale, Kriegsbeginn, Terroranschläge etc.) durchgeführt werden, sind häufig nur ein Zerrbild der realen Stimmung. Auch hier empfiehlt es sich, über einen längeren Zeitraum auf entsprechende Durchschnittswerte zu blicken und eine Entwicklung zum "Normalzustand" immer auch mit einzukalkulieren. Besonders spannend wird es, wenn ein solches Ereignis dicht an einem Wahltermin steht. Dies erschwert die Vorhersage enorm, weil fraglich bleibt, ob die tagesaktuelle Stimmung sich auch tatsächlich im in Kürze anstehenden Wahlverhalten niederschlägt.


In meinem Blog werde ich künftig bei den Umfragen zu den Swing States 2020 die Umfragequellen auch verlinken, so dass Ihr direkt nachprüfen könnt, welchen Wert die jeweils veröffentlichte Umfrage hat.

Lagen die Umfragen 2016 wirklich daneben?

Noch heute ist häufig zu hören, wie sehr die Umfragen bei der US-Präsidentschaftswahl daneben lagen. Auch seriöse Medien in Deutschland vereinfachen in dieser Frage leider recht häufig. Hierzu habe ich bereits damals wie auch zwischenzeitlich schon häufig ein paar relativierende Sätze verloren. Die wichtigsten Aussagen will ich aber auch hier gerne nochmals zusammenfassen. Im Kern geht es auch um die einige der vorgenannten 10 Punkte.

Fakt 1: Vor der Wahl 2016 haben fast alle Umfragequellen Hillary Clinton in landesweiten Umfragen vorne gesehen. Sie lag demnach durchschnittlich gut 3% vor Trump.

Vorwurf: Die Umfragequellen lagen falsch.

Richtig ist: Hillary Clinton hat landesweit fast 3 Mio Stimmen mehr gewonnen als Donald Trump und lag damit 2,1 % vor dem Republikaner. Die Umfragequellen lagen also tendenziell richtig. Die Interpretation war jedoch falsch bzw. irreführend (siehe o.g. Punkte 1. und 2.).

Fakt 2: In den Swing States haben die Umfragequellen viele offene Rennen prognostiziert. Teils mit einem Vorsprung für Trump, teils für Clinton.

Vorwurf: Auch in den einzelnen Bundesstaaten lagen die Umfragen falsch.

Richtig ist: Ich beschränke mich in der Darstellung auf die Swing States 2016 im weiteren Sinne, die Umfrageergebnisse kurz vor der Wahl 2016 sind HIER nochmal verlinkt:

• In Florida, Ohio, North Carolina, Iowa, Arizona und Georgia haben die Umfragen ein offenes Rennen prognostiziert. Überall mit einer leichten Tendenz für Donald Trump. Der Republikaner hat diese Bundesstaaten auch alle gewonnen.
• Weiter haben die Umfragen Siege für Clinton in Virginia, New Mexico und Minnesota vorausgesagt. Clinton hat diese Bundesstaaten alle gewonnen.
• Die Umfragen haben auch offene Rennen für Colorado und New Hampshire mit Tendenz für Clinton prognostiziert. Clinton hat beide Bundesstaaten gewonnen.
• Die Umfragen haben offene Rennen für Nevada (Tendenz für Trump), Pennsylvania und Michigan (Tendenz jeweils für Clinton) vorausgesagt. In diesen drei Bundesstaaten hat jeweils der andere Kandidat / die andere Kandidatin entgegen der Tendenz gewonnen.
• Die Umfragen für Wisconsin haben einen Sieg Clintons vorausgesagt. Donald Trump hat diesen Bundesstaat aber gewonnen.

Betrachtet man nun also das Gesamtbild, ist festzustellen, dass die Umfragen in 11 Swing States mit der Siegtendenz richtig lagen. In 3 Bundesstaaten hatten sie ebenfalls offene Rennen vorausgesagt allerdings mit einer anderen Tendenz. Nur in einem Fall (Wisconsin) lagen die Umfragen daneben.

Selbst wenn man die Ergebnisse der vorgenannten 15 Bundesstaaten mit den prognostizierten Werten vergleicht, kommt man im Durchschnitt auf eine Abweichung von 2,9 Prozentpunkten pro Bundesstaat.

Der entscheidende Punkt ist, dass ein tendenzieller Vorsprung von 0-4 % aufgrund der Fehlerspanne immer als offenes Rennen betrachtet werden muss. Das ist nicht erst seit dem Wahlkampf 2016 so.

Insgesamt ist also festzuhalten, dass die Umfragen für 2016 gar nicht schlecht waren.

Es lohnt sich also immer, selbst genauer hinzusehen.