Wir haben unseren Statistiker Jacob zu einem besonderen Thema im Interview: Den statistischen Fehler, der bei jeder Umfrage von Civey mit angegeben wird. Kurz vor dem Start des Betatests sind wir hier natürlich bestens vorbereitet.

Jacob, wie würdest du den Forschungsstand bei Civey beschreiben?

Für die Statistik bei Civey orientieren wir uns an den neuesten Forschungsmaßstäben: Das liegt daran, dass wir bei unseren Online-Umfragen mit non probability samples arbeiten, d.h. mit Umfragen ohne Zufallsstichprobe. Denn bei Civey haben die Teilnehmer_innen selbst die Wahl, an welcher Umfrage sie teilnehmen möchten. Für die Berechnung des statistischen Fehlers wird daher auch ein anderes Verfahren benötigt, als es die etablierten Meinungsforschungsinstitute verwenden.

Welches Verfahren wird benötigt? Was wird bei einer Civey-Umfrage als Fehler angegeben?

Bei der Fehlerberechnung wird neben der Anzahl der Umfrageteilnehmer_innen vor allem ermittelt, inwieweit die demographischen Merkmale in der Stichprobe von denen in der Zielgruppe, also beispielsweise der Gesamtbevölkerung, abweichen. Eine stärkere Verzerrung erhöht hier den Fehler. Zudem werden Verhaltensvariablen berücksichtigt, zum Beispiel wie häufig Nutzer_innen sich online politisch engagieren. Diese Verhaltensvariablen beeinflussen den statistischen Fehler, je nachdem wie stark sie die Bereitschaft zur Beantwortung von Fragen erklären.

Kurz gesagt: Unser statistischer Fehler reflektiert die Stärke der Abweichungen zwischen den Eigenschaften der Teilnehmer_innen und der Grundgesamtheit.

Wie war für euch im Statistik-Team der Alphatest?

Für uns war wichtig, dass die Berechnung technisch einwandfrei funktioniert hat. Aus wissenschaftlicher Sicht war das aber eher Spielerei, weil der Alphatest nur im kleinen Rahmen stattfand und damit keine Rückschlüsse auf eine Grundgesamtheit, wie z.B. die deutsche Bevölkerung, gezogen werden konnten. Repräsentative Ergebnisse sind erst im Betatest möglich, wenn mehr Leute an unseren Umfragen teilnehmen.

Was wünschst du dir für den Betatest?

Ersteinmal natürlich genügend Teilnehmer_innen aus verschiedenen Bevölkerungsgruppen! Gleichzeitig wünsche ich mir generell, dass auch andere Institute ihre Methodik und die Berechnung des statistischen Fehlers so transparent darstellen würden. Damit würden alle einen Beitrag zur Debatte über die Zukunft der Meinungsforschung leisten.


Jacob Kastl, Lead Data Scientist bei Civey; Bildrechte: Julia Bauer