Der folgende Beitrag erschien am 5. Juli in der Jungen Wirtschaft, dem Mitgliedermagazin der Wirtschaftsjunioren Deutschland.

Wie war das nochmal bei der Wahl von Donald Trump? Hat nicht Hillary Clinton monatelang die Umfragen angeführt und trotzdem sind wir am Tag nach der US-Wahl mit einem Sieger Trump aufgewacht? Reiht sich diese Episode nicht in eine Reihe ähnlicher Fehler der Meinungsforscher, wie etwa beim Brexit, im Saarland, in Sachsen-Anhalt oder beim SchulzEffekt? Zuletzt hat sogar die britische Premierministerin Theresa May Neuwahlen angesetzt, weil alle Umfragen ihr einen haushohen Sieg prophezeiten. Aber statt Parlamentssitze dazu zu gewinnen, verlor May ihre Mehrheit und kämpft um ihr politisches Überleben.

Wo liegen die Probleme der Meinungsforschung?

Man wird das Gefühl nicht los, dass irgendwas nicht stimmt mit der Meinungsforschung. Zu diesem Schluss kam auch die britische Regierung nach den Unterhauswahlen 2015 und hat eine Untersuchungskommission aus namhaften Wissenschaftlern eingesetzt, die die ganze Sache unter die Lupe nehmen soll. Nach zwei Jahren Arbeit liegt nun ihr Abschlussbericht vor, der unlängst in der Fachzeitschrift Public Opinion Quarterly erschienen ist.

Die Studie hat zwei zentrale Erkenntnisse: Erstens, und das mag überraschen, dass die Qualität der Meinungsumfragen seit den 1940er-Jahren auf beständig hohem Niveau ist. Trotz der vielen oben genannten Beispiele gibt es keine auffällige Häufung von Fehlprognosen. Die zweite zentrale Erkenntnis ist, dass wenn es zu Fehleinschätzungen kommt, diese einen wesentlichen Grund haben: Viele Menschen machen bei Meinungsumfragen nicht mehr mit und die mathematischen Modelle, mit denen die Wissenschaftler diesen Umstand korrigieren wollen, sind unzureichend.

Meinungsumfragen sind besser als ihr Ruf

Die erste Erkenntnis der britischen Studie – dass Umfragen besser sind als ihr Ruf – hat mit der Art und Weise zu tun, wie über Zahlen berichtet wird. Beispiel Donald Trump: Betrachtet man alle 243 Umfragen zur US-Wahl, so ist es zwar richtig, dass Hillary Clinton in fast allen vorne lag, aber meist nur mit zwei bis vier Prozent. Immerhin in etwa jeder achten Umfrage lag Trump vorne. Es war eigentlich offensichtlich, dass das Rennen noch nicht gelaufen war. Zumal wenn man bedenkt, dass Umfragen einen sogenannten statistischen Fehler von zwei bis drei Prozent haben. Solche Hinweise findet man in der medialen Berichterstattung selten, stattdessen häufiger die Schlagzeile „Clinton führt” oder „Umfrageschock für Trump”. Korrekt wäre die schlichte Meldung „Too Close to Call” gewesen.

Ein Problem: die mangelnde Teilnahmebereitschaft

Das ist aber nur die eine Hälfte der Wahrheit, denn richtig ist, dass Meinungsumfragen auch oft danebenliegen. Damit sind wir bei der zweiten zentralen Erkenntnis der britischen Studie: Wenn es zu Fehlprognosen kommt, liegt das an der mangelnden Teilnahmebereitschaft der Menschen. Sie sind genervt von Telefonanrufen und sie misstrauen Instituten.

Ruft man in den USA 100 Menschen zufällig an, beteiligt sich heute gerade noch einer an der Umfrage. 1980 haben noch 70 Prozent der US-Bürger bei Telefonumfragen mitgemacht. Das heißt, dass es heute gerade bei der telefonischen Zufallsauswahl eine extreme Verzerrung durch Teilnahmeverweigerung gibt. Für Deutschland liegt diese Teilnahmequote
zwischen drei und 20 Prozent. Genaue Zahlen veröffentlichen die Institute in der Regel nicht.

Ähnlich sieht es bei den Online-Forschern aus. Egal ob es sich um die deutsche GfK oder die Amerikaner von YouGov handelt, sie kämpfen mit der gleichen Teilnahmeverweigerung. Ihre Lösung ist es, die Teilnehmer zu bezahlen. Etwa 50 Cent bekommt man hier für die Teilnahme an einer Umfrage, meist in Form von Sachprämien. Natürlich führt das zu einer zusätzlichen Verzerrung, weil sich für diese Form der Incentivierung nur ganz bestimmte Bevölkerungsgruppen interessieren.

Repräsentative Umfrageergebnisse in Echtzeit

Was kann man aber tun, um wieder alle Bevölkerungsgruppen für die Meinungsforschung zu gewinnen und Fehlprognosen zu reduzieren? Als wir das Meinungsforschungs-Startup Civey gegründet haben, wollten wir das Problem mit einer verrückten Idee lösen: Wir nerven die Menschen nicht am Telefon, wir bezahlen ihnen auch kein Geld, sondern wir zeigen einfach jedem Teilnehmer das repräsentative Ergebnis in Echtzeit. Kein Ergebnis wird verheimlicht – egal, wer der Auftraggeber der Umfrage ist. Dazu kommt Transparenz über die Rohdaten, den statistischen Fehler und alle Teilnehmerzahlen.

Das Ergebnis war ganz erstaunlich. Binnen neun Monaten hatten sich über 150.000 Menschen bei uns registriert und das größte Online-Umfrage-Panel Deutschlands geschaffen. Und nicht nur das: Weil unsere Geschäftsbedingungen ausschließen, dass wir Nutzerdaten weiterverkaufen, stellen uns die Menschen viele demographische Daten über sich zur Verfügung und nehmen häufiger an Umfragen teil. Das ermöglicht zum einen feinere statistische Verfahren und zum anderen größere Stichproben. Standardmäßig befragen wir 5.000 Menschen statt wie sonst üblich nur 1.000. Im Schnitt nehmen unsere Nutzer mittlerweile an 64 empfohlenen Umfragen pro Monat teil – unabhängig von ihren persönlichen Interessen.

Ein Umfrage-Netzwerk auf 7.000 Websites

Auch technologisch sind wir neue Wege gegangen. Wir haben ein UmfrageTool entwickelt, das in jede Webseite eingebunden kann werden. Darüber haben wir mittlerweile ein Netzwerk mit rund 7.000 Webseiten aufgebaut. Civey befragt die Menschen also dort, wo sie ohnehin gerade surfen. Das sorgt von vornherein für eine gute Bevölkerungsabdeckung. Beispielsweise sind 15 Prozent der Teilnehmer zwischen 18 und 29 Jahre alt und 22 Prozent über 65 Jahre. Das entspricht ziemlich genau der Verteilung in der Gesamtbevölkerung.

Noch ist unser Ansatz recht jung und muss über die Jahre beweisen, dass er die Qualität von Umfrageergebnissen nachhaltig verbessern kann. Aber die ersten Erfolge sind vielversprechend. Nur vier Wochen nach dem Launch konnte Civey mit dem zweitbesten Umfrageergebnis zur Berlin-Wahl aufwarten und diesen Erfolg zur NRW-Wahl wiederholen, als die Civey-Umfrage nur 0,85 Prozent vom tatsächlichen Wahlergebnis abwich.


Gerrit Richter ist Gründer und Geschäftsführer von Civey. Er beschäftigt seit mehr als 15 Jahren mit der praktischen Anwendung von Meinungsforschung – unter anderen als Leiter der politischen Kommunikation bei Ergo, Berater bei Roland Berger und wissenschaftlicher Referent beim ehemaligen Bundesfinanzminister Hans Eichel.