Wie verhindert Civey die Verzerrung von Ergebnissen?

Eine Verzerrung (englisch: bias) ist ein systematischer Fehler, der unter anderem aus der Auswahl einer Stichprobe, aus der Fragestellung oder aus den Daten selbst resultieren kann, sodass die Ergebnisse nicht repräsentativ, verzerrt, einseitig oder irreführend sind.

Civey hat verschiedene wirkungsvolle Mechanismen entwickelt, um möglichen Verzerrungen entgegenzuwirken. Um zu gewährleisten, dass wir genügend Menschen aus allen Bevölkerungsgruppen erreichen, sind unsere Umfragen jeden Monat auf mehreren Tausend Webseiten unterschiedlicher Online-Medien eingebunden. Viele Nutzer registrieren sich bzw. geben ihre Stammdaten an. Das ermöglicht uns, schon vor der eigentlichen Stichprobenziehung eine möglichst breite Bevölkerungsgruppe zu erreichen.

Trotzdem kann es Umfragen geben, die thematisch ein bestimmtes Publikum eher ansprechen als ein anderes. Das heißt, nicht alle Menschen sind gleich stark motiviert, sich an einer Abstimmung zu beteiligen (Self Selection Bias bzw. Non Response Bias). Zudem kann es, je nachdem auf welcher Seite eine Umfrage eingebunden ist, auch dazu kommen, dass der Leser durch den Kontext bereits in eine bestimmte Richtung gelenkt wird, weil z. B. über ein Ereignis, das in der entsprechenden Umfrage abgefragt wird, nicht neutral berichtet wird und der Kontext suggestiv auf den Teilnehmer wirken kann.

Beide Probleme lösen wir durch unsere sogenannte „recommendation engine“ (empfohlene Umfragen): Jedem Teilnehmer werden sofort nach der Abstimmung in unserem Umfrage-Tool weitere Umfragen eingespielt. Unsere Nutzer beantworten viele weitere 20 Umfragen zu völlig unterschiedlichen Themen, die mit dem ursprünglichen Thema gar nichts zu tun haben. Um eine Verzerrung durch den möglicherweise suggestiven Kontext einer Umfrage zu vermeiden, berücksichtigen wir für jede Umfrage hauptsächlich die Stimmen aus der „recommendation engine“.