Neben dem Coverage Bias ist der sogenannte Selection Bias oder Selektionseffekt der schwerwiegendste Grund, warum die Qualität von freiwilligen opt-in Online Umfragen kritisiert wird (1). Dieser entsteht, wenn eine spezielle Gruppe der Gesamtbevölkerung überproportional an einer Umfrage teilnimmt und so aufgrund einer bestimmten Meinungshaltung innerhalb dieser Gruppe das Ergebnis verzerrt.

Ein einfaches Beispiel: Bei der Frage “Wie oft treiben Sie im Durchschnitt wöchentlich Sport?” könnte es gut sein, dass vermehrt Menschen mit hohem Interesse an sportlichen Aktivitäten antworten. Diese Leute treiben wiederum höchstwahrscheinlich mehr Sport als die deutsche Durchschnittsbürger_in. In einem solchen Szenario würden wir demnach überschätzen, wie viel Sport die Deutschen tatsächlich treiben.

Warum ist das so problematisch?

Im Gegensatz zur verzerrten Verteilung bestimmter Altersgruppen oder Regionen liegt hier die Schwierigkeit darin, die überrepräsentierte Gruppe überhaupt zu identifizieren. Wer sind die Menschen mit hohem Interesse an Sport? Bei freiwilliger Teilnahme gibt es sehr häufig so genannte latente Faktoren wie das Interesse für ein bestimmtes Thema, die nicht beobachtbar sind und die die Wahrscheinlichkeit, eine Frage zu beantworten, mitunter stark beeinflussen. Selbst wenn man die Faktoren beobachten könnte, bleibt das Problem, dass entsprechende Vergleichsdaten für die gesamte Bevölkerung fehlen.

Lösungsansätze

Bei unbeobachteten oder latenten Faktoren versagen herkömmliche Verfahren zur Poststratifizierung und es sind fortgeschrittenere statistische Methoden anzuwenden. Das so genannte Propensity Score Adjustment ist hierbei eine Möglichkeit, die sich in diversen Studien als erfolgreich erwiesen hat (2). Hierbei wird versucht, durch verschiedene beobachtete Variablen die latenten Selektionsfaktoren näherungsweise zu messen. Im Sportbeispiel könnten wir zum Beispiel eine Frage zu bevorzugten Freizeitaktivitäten stellen, die Menschen mit mehr Interesse an Sport als anderen Dingen, wie zum Beispiel Literatur, identifizieren könnte. Diese Variablen müssen dann zeitgleich in einer Referenzumfrage (telefonisch oder persönlich) erhoben werden.

Durch den Vergleich der repräsentativen Referenzumfrage und der Stichprobe kann dann festgestellt werden, welche Nutzer_innen in der Stichprobe hinsichtlich der ausgewählten Faktoren über- bzw. unterrepräsentiert sind. Wir würden also die Frage nach Freizeitaktivitäten nicht nur unseren Civey Nutzer_innen, sondern gleichzeitig einer zufälligen Stichprobe der deutschen Bevölkerung stellen. Durch den Abgleich beider Ergebnisse könnten wir so beispielsweise feststellen, ob die Stichprobe tatsächlich mehr aus Sportbegeisterten besteht als die Gesamtbevölkerung. In einem solchen Falle würde die Aussage der Sportfreaks also ein geringeres Gewicht, die der Literaturfans ein Höheres bekommen. Das Prinzip des Verfahrens ist dem der Poststratifizierung also sehr ähnlich: Meinungen in der Stichprobe, die von im Vergleich zur Gesamtbevölkerung überrepräsentierten Gruppen stammen, bekommen ein schwacheres Gewicht und umgekehrt.

Civey selection bias statistik

Wie sieht es bei offline Umfragen aus?

Auch wenn bei klassischen Telefonumfragen oder persönlichen Interviews die Auswahl derer, die kontaktiert werden, zufällig ist – die Teilnahme an sich ist ebenso freiwillig. Auch hier ist anzunehmen, dass es starke Selektionseffekte aufgrund unbeobachteter Faktoren gibt (3). Angesichts der sinkenden Ausschöpfungsquote bei diesen Umfragetypen können diese die Ergebnisse erheblich verzerren! Eine Korrektur dieser Verzerrung wird von den gängigen Meinunsforschungsinstituten allerdings nicht vollzogen oder zumindest werden solche Methoden nicht veröffentlicht.

 

Quellen

(1) Bethlehem, Jelke (2010). Selection Bias in Web Surveys. International Statistical Review, 78(2), http://dare.uva.nl/document/2/92124

(2) Lee, S (2006). Propensity Score Adjustment as a Weighting Scheme for Volunteer Panel Web Surveys. Journal of Official Statistics, 22(2), pp. 329–349, http://www.jos.nu/Articles/abstract.asp?article=222329

(3) Groves, Robert M (2006) Nonresponse Rates and Nonresponse Bias in Telephone Surveys. Public Opinion Quarterly, 70(2), http://poq.oxfordjournals.org/content/70/5/646.full.pdf+html