Meinungsforschung 2.0: Die Revolution der Umfrage
Gerrit Richter ist Gründer und Geschäftsführer von Civey. Seit mehr als 15 Jahren beschäftigt er sich mit der praktischen Anwendung von Meinungsforschung. Gemeinsam mit CEO und Co-Founderin Janina Mütze hat er das Opinion Tech Unternehmen 2015 gegründet. Jetzt revolutionieren sie mit Civey die Markt- und Meinungsforschung in Deutschland.
Gerrit Richter über Probleme und Herausforderungen in der Meinungsforschung. Und vor allem darüber, wie Civey sie lösen kann:
Wie war das nochmal bei der Wahl von Donald Trump? Hat nicht Hillary Clinton monatelang die Umfragen angeführt und trotzdem sind wir am Tag nach der US-Wahl mit einem Sieger Trump aufgewacht? Reiht sich diese Episode nicht in eine Reihe ähnlicher Fehler der Meinungsforscher, wie etwa beim Brexit, im Saarland, in Sachsen-Anhalt oder beim SchulzEffekt? Zuletzt hat sogar die britische Premierministerin Theresa May Neuwahlen angesetzt, weil alle Umfragen ihr einen haushohen Sieg prophezeiten. Aber statt Parlamentssitze dazu zu gewinnen, verlor May ihre Mehrheit und kämpft um ihr politisches Überleben.
Wo liegen die Probleme der Meinungsforschung?
Man wird das Gefühl nicht los, dass irgendwas nicht stimmt mit der Meinungsforschung. Zu diesem Schluss kam auch die britische Regierung nach den Unterhauswahlen 2015 und hat eine Untersuchungskommission aus namhaften Wissenschaftlern eingesetzt, die die ganze Sache unter die Lupe nehmen soll. Nach zwei Jahren Arbeit liegt nun ihr Abschlussbericht vor, der unlängst in der Fachzeitschrift Public Opinion Quarterly erschienen ist. Die Studie hat zwei zentrale Erkenntnisse: Erstens, und das mag überraschen, dass die Qualität der Meinungsumfragen seit den 1940er-Jahren auf beständig hohem Niveau ist. Trotz der vielen oben genannten Beispiele gibt es keine auffällige Häufung von Fehlprognosen. Die zweite zentrale Erkenntnis ist, dass wenn es zu Fehleinschätzungen kommt, diese einen wesentlichen Grund haben: Viele Menschen machen bei Meinungsumfragen nicht mehr mit und die mathematischen Modelle, mit denen die Wissenschaftler diesen Umstand korrigieren wollen, sind unzureichend.
Meinungsumfragen sind besser als ihr Ruf
Die erste Erkenntnis der britischen Studie – dass Umfragen besser sind als ihr Ruf – hat mit der Art und Weise zu tun, wie über Zahlen berichtet wird. Beispiel Donald Trump: Betrachtet man alle 243 Umfragen zur US-Wahl, so ist es zwar richtig, dass Hillary Clinton in fast allen vorne lag, aber meist nur mit zwei bis vier Prozent. Immerhin in etwa jeder achten Umfrage lag Trump vorne. Es war eigentlich offensichtlich, dass das Rennen noch nicht gelaufen war. Zumal wenn man bedenkt, dass Umfragen einen sogenannten statistischen Fehler von zwei bis drei Prozent haben. Solche Hinweise findet man in der medialen Berichterstattung selten, stattdessen häufiger die Schlagzeile „Clinton führt” oder „Umfrageschock für Trump”. Korrekt wäre die schlichte Meldung „Too Close to Call” gewesen.
Ein Problem: die mangelnde Teilnahmebereitschaft
Das ist aber nur die eine Hälfte der Wahrheit, denn richtig ist, dass Meinungsumfragen auch oft danebenliegen. Damit sind wir bei der zweiten zentralen Erkenntnis der britischen Studie: Wenn es zu Fehlprognosen kommt, liegt das an der mangelnden Teilnahmebereitschaft der Menschen. Sie sind genervt von Telefonanrufen und sie misstrauen Instituten. Ruft man in den USA 100 Menschen zufällig an, beteiligt sich heute gerade noch einer an der Umfrage. 1980 haben noch 70 Prozent der US-Bürger bei Telefonumfragen mitgemacht. Das heißt, dass es heute gerade bei der telefonischen Zufallsauswahl eine extreme Verzerrung durch Teilnahmeverweigerung gibt. Für Deutschland liegt diese Teilnahmequote zwischen drei und 20 Prozent. Genaue Zahlen veröffentlichen die Institute in der Regel nicht. Ähnlich sieht es bei den Online-Forschern aus. Egal ob es sich um die GfK oder YouGov handelt, sie kämpfen mit der gleichen Teilnahmeverweigerung. Ihre Lösung ist es, die Teilnehmer zu bezahlen. Etwa 50 Cent bekommt man hier für die Teilnahme an einer Umfrage, meist in Form von Sachprämien. Natürlich führt das zu einer zusätzlichen Verzerrung, weil sich für diese Form der Incentivierung nur ganz bestimmte Bevölkerungsgruppen interessieren.
Repräsentative Umfrageergebnisse in Echtzeit
Was kann man aber tun, um wieder alle Bevölkerungsgruppen für die Meinungsforschung zu gewinnen und Fehlprognosen zu reduzieren? Als wir das Meinungsforschungs-Startup Civey gegründet haben, wollten wir das Problem mit einer verrückten Idee lösen: Wir nerven die Menschen nicht am Telefon, wir bezahlen ihnen auch kein Geld, sondern wir zeigen einfach jedem Teilnehmer das repräsentative Ergebnis in Echtzeit. Kein Ergebnis wird verheimlicht – egal, wer der Auftraggeber der Umfrage ist. Das Ergebnis war ganz erstaunlich. Binnen neun Monaten hatten sich über 150.000 Menschen bei uns registriert und das größte Online-Umfrage-Panel Deutschlands geschaffen. Und nicht nur das: Weil unsere Geschäftsbedingungen ausschließen, dass wir Nutzerdaten weiterverkaufen, stellen uns die Menschen viele demographische Daten über sich zur Verfügung und nehmen häufiger an Umfragen teil. Das ermöglicht zum einen feinere statistische Verfahren und zum anderen größere Stichproben.
Ein Umfrage-Netzwerk auf Tausenden Webseiten
Auch technologisch sind wir neue Wege gegangen. Wir haben ein UmfrageTool entwickelt, das in jede Webseite eingebunden kann werden. Darüber haben wir mittlerweile ein Netzwerk mit mehreren Tausend Webseiten aufgebaut. Civey befragt die Menschen also dort, wo sie ohnehin gerade surfen. Das sorgt von vornherein für eine gute Bevölkerungsabdeckung. Noch ist unser Ansatz recht jung und muss über die Jahre beweisen, dass er die Qualität von Umfrageergebnissen nachhaltig verbessern kann. Aber die ersten Erfolge sind vielversprechend. Nur vier Wochen nach dem Launch konnte Civey mit dem zweitbesten Umfrageergebnis zur Berlin-Wahl aufwarten und diesen Erfolg zur NRW-Wahl wiederholen, als die Civey-Umfrage nur 0,85 Prozent vom tatsächlichen Wahlergebnis abwich.
Dieser Artikel erschien in leicht abgeänderter Version am 5. Juli in der Jungen Wirtschaft, dem Mitgliedermagazin der Wirtschaftsjunioren Deutschland.