Wie verhindert Civey die Verzerrung von Ergebnissen?

Eine Verzerrung (englisch: bias) ist ein systematischer Fehler, der unter anderem aus der Auswahl einer Stichprobe, aus der Fragestellung oder aus den Daten selbst resultieren kann, sodass die Ergebnisse nicht repräsentativ, verzerrt, einseitig oder irreführend sind.

Civey hat verschiedene wirkungsvolle Mechanismen entwickelt, um möglichen Verzerrungen entgegenzuwirken. Um zu gewährleisten, dass wir genügend Menschen aus allen Bevölkerungsgruppen erreichen, sind unsere Umfragen täglich auf rund 25.000 Websites unterschiedlicher Online-Medien eingebunden. Viele dieser Nutzer registrieren sich bzw. geben ihre Stammdaten an. Das ermöglicht uns, bereits einen möglichst repräsentative Querschnitt der Bevölkerung in die Stichprobe zu ziehen.

Trotzdem kann es Umfragen geben, die thematisch ein bestimmtes Publikum eher ansprechen als ein anderes. Das heißt, nicht alle Menschen sind gleich stark motiviert, sich an einer Abstimmung zu beteiligen (Self Selection Bias bzw. Non Response Bias). Zudem kann es, je nachdem auf welcher Seite eine Umfrage eingebunden ist, auch dazu kommen, dass der Teilnehmer durch den Kontext bereits in eine bestimmte Richtung gelenkt wird, weil z. B. über ein Ereignis, das in der entsprechenden Umfrage abgefragt wird, nicht neutral berichtet wird. Es handelt sich dann zwar nicht um eine Suggestivfrage, aber der Kontext kann suggestiv auf den Teilnehmer wirken.

Beide Probleme lösen wir durch unsere so genannte „recommendation engine“ (empfohlene Umfragen): Jedem Teilnehmer werden sofort nach der Abstimmung in unserem Umfragefeld weitere Umfragen eingespielt. Unsere Nutzer beantworten im Schnitt auf diese Weise 20 Umfragen auf einmal zu völlig unterschiedlichen Themen, die mit dem ursprünglichen Thema gar nichts zu tun haben. Die Teilnehmer beantworten dadurch auch solche Umfragen, die sie nicht aus eigenem Interesse angeklickt haben. Um eine Verzerrung durch den möglicherweise suggestiven Kontext einer Umfrage zu vermeiden, berücksichtigen wir für jede Umfrage zu einem großen Teil die Stimmen aus der „recommendation engine“. Das heißt, in die Stichprobe ziehen wir vor allem die Stimmen von Teilnehmern, die wirklich nur die Frage gelesen haben, ohne weiterführende Kontext-Informationen.

Das Problem, dass Teilnehmer Falschangaben machen können, haben leider alle Umfrageinstitute. Wir lösen dieses Problem durch verschiedene technische Mechanismen in unserem System. So werden z. B. Teilnehmer, die offensichtliche Falschangaben bei der Registrierung machen oder sich in ihren Antworten offenkundig widersprechen, nicht in die Stichprobe gezogen.


Sie könnten Ihre Antwort nicht finden?

Wir sind hier, um Ihnen zu helfen. Kontaktieren Sie einfach unser Supportteam und Sie erhalten schnellstmöglichst eine Antwort.