Wie verhindert Civey Manipulation und Verzerrung von Ergebnissen?

Wir beugen durch technische Kontrollmechanismen der Gefahr einer gezielten Manipulation der Ergebnisse vor. Unser System überprüft Antworten von Nutzer:innen anhand technischer, statistischer und inhaltlicher Kriterien, darunter die Geschwindigkeit der Teilnahme sowie die inhaltliche Plausibilität, beziehungsweise das Vorhandensein etwaiger Widersprüche in gegebenen Antworten. Diese Stimmen auffälliger Teilnehmer werden für den repräsentativen Gewichtungsprozess und damit im Abstimmungsergebnis nicht berücksichtigt. Mehrfache Antworten eines Nutzers auf dieselbe Frage sind innerhalb eines fragespezifischen Zeitraums darüber hinaus nicht möglich. Eine gezielte Manipulation der Ergebnisse ist somit ausgeschlossen.

Eine Verzerrung (englisch: bias) ist ein systematischer Fehler, der unter anderem aus der Auswahl einer Stichprobe, aus der Fragestellung oder aus den Daten selbst resultieren kann, sodass die Ergebnisse nicht repräsentativ, verzerrt, einseitig oder irreführend sind.

Civey hat verschiedene wirkungsvolle Mechanismen entwickelt, um möglichen Verzerrungen entgegenzuwirken. Um zu gewährleisten, dass wir genügend Menschen aus allen Bevölkerungsgruppen erreichen, sind unsere Umfragen jeden Monat auf mehreren Tausend Webseiten unterschiedlicher Online-Medien eingebunden. Viele Nutzer registrieren sich bzw. geben ihre Stammdaten an. Das ermöglicht uns, schon vor der eigentlichen Stichprobenziehung eine möglichst breite Bevölkerungsgruppe zu erreichen. Zudem werden bei der Auswertung nur die Stimmen registrierter Nutzer:innen berücksichtigt.

Je nachdem, auf welcher Seite eine Umfrage eingebunden ist, kann es dazu kommen, dass der Leser durch den Kontext auf der Seite in eine bestimmte Richtung gelenkt wird, weil z. B. über ein Ereignis, das in der entsprechenden Umfrage abgefragt wird, nicht neutral berichtet wird und der Kontext suggestiv auf den Teilnehmer wirken kann. Klicks auf die erste in einem Artikel eingebettete Umfrage werden daher in der Regel nicht für die Stichprobenziehung berücksichtigt.

Auch kann es Umfragen geben, die thematisch ein bestimmtes Publikum eher ansprechen als ein anderes. Das heißt, nicht alle Menschen sind automatisch immer gleich stark motiviert, sich an einer Umfrage zu beteiligen (Self Selection Bias bzw. Non Response Bias). Aus diesem Grund werden den Teilnehmenden sofort nach dem Beantworten einer Frage in unserem Umfrage-Tool weitere Umfragen eingespielt. Die Themenauswahl erfolgt dabei zufällig und nicht basierend auf persönlichem Interesse oder dem Thema der vorangegangenen Frage. So beantworten unsere Nutzer im Verlauf einer Session Umfragen zu unterschiedlichen Themen, die mit der ersten Fragestellung nichts zu tun haben.