Die Qualität von Online-Umfragen wird gerne kritisiert. Auch bei Civey erforschen wir, wie die Qualität unserer Online-Stichprobe sichergestellt und kommuniziert werden kann. Da es sich hierbei zunächst um eine Umfrage mit freiwilliger Teilnahme, also ein reines opt-in nonprobability sample, handeln wird, ist das gar nicht so einfach. Methoden, die Meinungsforschungsinstitute bisher anwenden, um ihre Stichprobe an die Grundgesamtheit anzugleichen, werden in unseren Online-Umfragen nicht greifen können.

Warum funktionieren freiwillige Online-Umfragen anders?

Bei einem opt-in nonprobability sample findet keine zufällige Auswahl statt, die Teilnehmer*innen wählen sich gewissermaßen selbst aus. Im Gegensatz zur Zufallsstichprobe ist die Teilnahmewahrscheinlichkeit in der Regel unterschiedlich und vor allem unbekannt. Für die Beurteilung der Qualität bedeutet das, dass der klassische Stichprobenfehler, den die Meinungsforschungsinstitute in der Regel mit drei bis fünf Prozent ausgeben, nicht anwendbar ist. Zum einen, da er theoretisch auf der Wiederholbarkeit der Stichprobenziehung beruht und zum anderen, da er nicht alle Fehlerquellen mit einbezieht. Denn abseits der reinen Variabilität einer einfachen Zufallsstichprobe kann es bei einem opt-in nonprobability sample zu Verzerrungen kommen.

Coverage Bias: Wer sind die Internetnutzer?

Da ein gewisser Teil der Bevölkerung nicht über einen Internetzugang verfügt, bleibt einigen Mitglieder*innen der Grundgesamtheit der Zugang zur Stichprobe versperrt. Internetnutzer*innen unterscheiden sich zudem in einigen Merkmalen wie Geschlecht oder Bildung grundsätzlich vom Rest der Bevölkerung. Insbesondere ältere Menschen haben oft keinen Internetzugang (Statistisches Bundesamt, 2016). Durch diesen systematischen Unterschied zwischen Auswahl- und Grundgesamtheit entstehen potenziell Verzerrungen.

Self Selection Bias: Wer sind die freiwilligen Teilnehmer?

Die Entscheidung der Internetnutzer*innen, an einer Umfrage teilzunehmen hängt in der Regel von diversen, teilweise nicht beobachtbaren und weitgehend unbekannten Faktoren ab. Dies führt wiederum dazu, dass sich die Teilnehmer*innen eines opt-in samples systematisch vom Rest der Internetpopulation unterscheiden, z.B. hinsichtlich ihres politischen Interesses, ihres Berufsfeldes oder der Häufigkeit der Internetnutzung.

Hohe Verzerrungen auch bei Telefonumfragen

Bei unserer Recherche haben wir festgestellt, dass klassische Telefonumfragen ähnliche Probleme haben, obwohl sie als repräsentativ gelten. Auch für sie ergibt sich ein größer werdender Coverage Bias, da immer weniger Haushalte über ein Festnetztelefon verfügen. Der Anteil der Haushalte, die heute schon kein Festnetzanschluss mehr besitzen, stieg von 6.6% im Jahr 2012 auf 8,5%. Dahingegen sank der Anteil der Haushalte ohne Internetanschluss im gleichen Zeitraum von 20,6% auf 11,8% (Statistisches Bundesamt, 2016). Zwar wird versucht, dieses Problem durch die Einbeziehung von Mobiltelefonen zu vermindern, allerdings ist hier die Teilnahmebereitschaft der Angerufenen meist noch geringer als ohnehin schon (Häder et al., 2009).

03162016_bias-02

Verzerrungen (Bias) bei Online- und Telefon-Umfragen

Während Meinungsforscher in den USA mit einer durchschnittlichen Teilnahmequote von weniger als 10 % konfrontiert sind (Pew Research Institute, 2012), fehlt es an Informationen über solche Durchschnittswerte für Telefonumfragen in Deutschland. Wir haben eine größere Beispielstudie (Blumenberg et al. 2013) gefunden, die von einer Antwortrate von 40 – 50% berichtet. Und das bei Messungen, die noch 2009 stattgefunden haben! Es ist also davon auszugehen, dass man auch bei Telefonumfragen mit massiven Verzerrungen durch hohe Nicht-Antwortraten rechnen muss und sich dadurch auf ähnliche Weise systematische Unterschiede zur Grundgesamtheit ergeben wie beim Selection Bias in opt-in samples.

Was heißt das für die Arbeit von Civey?

Um Selektionsmechanismen zu modellieren und so Verzerrungen zu verringern, arbeiten wir derzeit an der Umsetzung entsprechender statistischer Methoden. In diesem Zuge entwickeln wir auch ein angemessenes Qualitätsmaß, was alle Fehlerquellen adäquat berücksichtigen soll. Wie genau das aussehen wird, werden wir bald an dieser Stelle berichten. 

Quellen:

Statistisches Bundesamt (2016). Wirtschaftsrechnungen: Private Haushalte in der Informationsgesellschaft – Nutzung von Informations- und Kommunikationstechnologien. Fachserie 15, Reihe 4.

Statistisches Bundesamt (2016). Ausstattung privater Haushalte mit Informations- und Kommunikationstechnik – Deutschland

Häder und Schneiderat (2009). Antwortbereitschaft bei Mobilfunkumfragen. Sozialwissenschaftlicher Fachinformationsdienst soFid (Methoden und Instrumente der Sozialwissenschaft), 2009/2.

Pew Research Institute (2012). Assessing the representativeness of public opinion surveys.

Blumenberg, Roßmann und Gummer (2013). Bericht zur Datenqualität der GLER 2009. GESIS Technical Reports, 2013|14.