Civey berechnet basierend auf online abgegebenen Meinungen in Echtzeit bevölkerungsrepräsentative Ergebnisse. Dabei macht Civey manches anders als es Call-Center-Institute oder auch Online-Marktforscher bislang getan haben. Häufig gestellte Fragen zur Methodik beantworten wir nachfolgend:

Für Eilige

Wie löst Civey das Problem niedriger Ausschöpfungsquoten?

Civey setzt auf Non-Probability Samples. Da Menschen immer seltener am Telefon zu erreichen sind, befragt Civey online. Über ein Umfrage-Netzwerk von mehr als 25.000 Webseiten (URLs) geben rund um die Uhr Menschen ihre Meinung ab. Bei Online-Befragungen können wie am Telefon nicht alle Menschen erreicht werden. Civey hat aus diesem Grund Verfahren entwickelt, mithilfe derer mögliche Verzerrungen in der Erhebung ausgeglichen werden.

Wie wird bei der Erhebung eine mögliche Selbstselektion kontrolliert?

Der Algorithmus entscheidet, wer in die Stichprobe gelangt. Bei Online-Umfragen können Menschen selbst entscheiden, ob sie teilnehmen. Eine mögliche Verzerrung, die dadurch entsteht, dass Menschen an einem Thema besonders interessiert sind und deshalb teilnehmen, umgeht Civey, indem diese Stimmen in der Berechnung nicht berücksichtigt werden, also nicht in die Stichprobe gelangen.

Wie verhindert Civey Verzerrungen und Manipulation?

Bevor ein Mensch in der Berechnung berücksichtigt wird, prüft Civey, ob der Nutzer eine echte Person ist, ausreichend Daten vom Nutzer für eine spätere Gewichtung vorliegen und mit welcher Wahrscheinlichkeit seine Angaben der Wahrheit entsprechen. Civey nutzt hierfür technische, statistische und inhaltliche Plausibilitätschecks. Um zwei einfache Beispiele zu nennen: beantwortet jemand vier Fragen in zehn Sekunden, kann er sie nicht wirklich gelesen haben. Gibt jemand an, 18 Jahre alt zu sein und seit fünf Jahren berufliche Rente zu beziehen, ist das auch recht unwahrscheinlich.

Für Interessierte

Erhebung

Civey spielt seine Umfragen rund um die Uhr über sein Umfragenetzwerk auf mehr als 25.000 Webseiten (URLs) monatlich aus. So erreicht Civey unterschiedlichstes Zielpublikum. Die größte Reichweite im Civey Umfragenetzwerk erzielen Nachrichtenwebseiten und E-Mail- oder Multi-Content-Portale sowie Fachmagazine. Darüber hinaus binden auch private Webseiten-Betreiber Civey Umfragen regelmäßig auf ihren Webseiten ein. Durch die Einbindung von Befragungen in redaktionelle Inhalte auf Drittwebseiten erhält Civey einen ersten Point of Contact mit den Befragten.

Die 25.000 URLs, auf denen das Civey Umfragetool eingebettet ist, werden im Monat knapp 20 Millionen Mal aufgerufen. Nutzer, die eine Webseite aufrufen, auf der eine Umfrage von Civey eingebunden ist, haben die Möglichkeit an dieser Stelle eine erste Frage (Item) zu beantworten. Wird dieses erste Item beantwortet, wird der Nutzer aufgefordert sich zu registrieren.  

Im Rahmen einer Registrierung werden folgende Angaben abgefragt: Geburtsjahr, Geschlecht und Postleitzahl des Wohnorts. Darüber hinaus muss der Nutzer sich mit der Datenverarbeitung durch Civey einverstanden erklären. Ab diesem Zeitpunkt setzt Civey einen Browser-Cookie. Der Nutzer hat darüber hinaus auch die Möglichkeit, sich mit seiner E-Mail-Adresse zu registrieren.

Registrierte Nutzer können Echtzeit-Ergebnisse sehen.

Nach erfolgter Registrierung sieht der Nutzer die von Civey berechneten repräsentativen Ergebnisse. Neben diesem Ergebnis kann der Nutzer auch einfach aufaddierte Klicks über den gesamten Befragungszeitraum als „Rohdaten“ einsehen. Darüber hinaus sieht der Nutzer statistische Kennzahlen wie den Befragungszeitraum, Anzahl der Abstimmenden über den gesamten Befragungszeitraum, Anzahl der Abstimmenden, die in die Stichprobe gezogen und gewichtet wurden sowie den statistischen Fehler.

Über einen Empfehlungsalgorithmus (Recommendation Engine) werden dem Nutzer nach Beantwortung dieses ersten Items weitere Umfragen ausgespielt. Jedes empfohlene und durch den Nutzer beantwortete Item wird dem jeweiligen Nutzerprofil zugeordnet. Auf diese Weise lernt Civey sukzessive mehr über die Meinungen und Wertehaltungen des Nutzers und stellt zugleich die Vollständigkeit der zu interessierenden Variablen sicher. Das sind insbesondere die Variablen, die später in der Gewichtung genutzt werden können.

Welche Umfragen empfohlen werden, ist von Nutzer zu Nutzer unterschiedlich. Menschen in Bayern sehen andere Fragen als Menschen in Hessen. Selbstständige können zu anderen Themen befragt werden als Angestellte.

Umfragen werden lediglich an die zu gewünschte Zielgruppe auf den 25.000 genannten Webseiten ausgespielt. Diesen Schritt nennt Civey Riversampling. Der Riversampling-Algorithmus stellt dabei sicher, dass Umfragen über die URLs gleichmäßig an die zu befragende Zielgruppe ausgespielt werden. Er garantiert demnach, dass nicht nur Stimmen von einer Website in die Berechnung einfließen. Darüber hinaus wird sichergestellt, dass die Stimmen gleichmäßig über die Zeit erhoben werden.

Nur Stimmen, die durch den Riversampling-Algorithmus unter registrierten und verifizierten Nutzern erhoben werden, können in die Stichprobe gelangen.

Verifizierung

Jedes beantwortete Item trägt schrittweise zur Verifizierung des Nutzers bei. Erst, wenn ein Nutzer vollständig verifiziert ist, hat er die Chance, in Stichproben berücksichtigt zu werden.

Im Laufe des Verifizierungsprozesses wird geprüft, ob (1.) der Nutzer eine echte Person ist, (2.) Civey ausreichend Daten vom Nutzer für eine spätere Gewichtung vorliegen und (3.) mit welcher Wahrscheinlichkeit seine Angaben der Wahrheit entsprechen. Dabei werden abstimmende Nutzer im Rahmen eines internen User-Trust-Index eingestuft und erst in der Berechnung berücksichtigt, wenn dieser sie positiv einstuft. Es entscheiden beispielsweise Mausbewegungen des Nutzers, das Klickverhalten und Geschwindigkeit der Teilnahme genauso über die Einordnung im User-Trust-Index wie die inhaltliche Plausibilität, beziehungsweise Widersprüche in gegebenen Antworten.

So beugt Civey durch inhaltliche, statistische und technische Kontrollmechanismen der Gefahr einer gezielten Manipulation vor.

Stichprobenziehung

Im Rahmen einer Preselection wird vor der eigentlichen Stichprobenziehung sichergestellt, dass aus jeder Bevölkerungsgruppe eine Mindestanzahl von Befragten berücksichtigt wurde. Die Preselection bestimmt außerdem den Befragungszeitraum. So wird beispielsweise bei einer gewünschten Stichprobengröße von 5.000 Befragten der Befragungszeitraum so festgelegt, dass innerhalb dieser Zeitspanne mindestens 1.500 Befragte jedes Geschlechts befragt werden. Innerhalb des Befragungszeitraums werden also in der Regel deutlich mehr Menschen befragt als schlussendlich in die tatsächliche Stichprobe gelangen. In der Regel nimmt Civey 20.000 Personen in diese Vorauswahl, um eine Stichprobe von 5.000 zu ziehen.

Basierend auf den Befragten, die in die Preselection gelangt sind, wird anhand der Variablen Alter, Geschlecht, Parteipräferenz, Zeitpunkt der Stimmabgabe und Ort der Stimmabgabe eine quotierte Stichprobe gezogen. Ort der Stimmabgabe bezieht sich hierbei auf den Ort im Civey Umfragetool (erstes beantwortetes Item beziehungsweise eingebundene Frage vs. empfohlene Items über die Recommendation Engine). Das erste beantwortete Item kommt nur dann in die Stichprobe, wenn zwischen dem Antwortverhalten auf dieser URL und dem Ergebnis keine Korrelation besteht. So wird ebenfalls ausgeschlossen, dass über das erste Item in einem möglicherweise suggestiv wirkenden Kontext das Ergebnis beeinflusst werden kann. Im Durchschnitt sind 2,5% der Votes vom ersten Item.

Gewichtung

In einem vollautomatisierten Schritt werden die in der Stichprobe enthaltenen Stimmen nach weiteren Soziodemografika wie beispielsweise nach Alter, Geschlecht, Familienstand, Bevölkerungsdichte, Kaufkraft und Parteipräferenz nachgewichtet, um etwaig verbliebene Verzerrungen zu korrigieren.

Civey gewichtetet hierbei in der Regel gegen offizielle Bevölkerungsdaten. Diese kommen vom statistischen Bundesamt oder dem Bundeswahlleiter. Da leider nicht alle Bevölkerungsdaten gemeinsam vorliegen, sondern häufig lediglich über die Randverteilungen Informationen bekannt sind, verwendet Civey in vielen Fällen die Gewichtung über die Randverteilungen (Raking). Liegen gemeinsame Verteilungen vor oder können diese ermittelt werden, bevorzugt Civey Poststratifizierung als Gewichtungsmethode.

Wissenschaftliche Einordnung der Methode

Civeys Methodik ist gemeinsam mit Professoren der Hochschule Rhein-Waal erforscht. Oliver Serfling, Prof. Jakob Lempp und Dr. Jan Niklas Rolf haben dabei eine Machbarkeitsstudie erstellt. Kern der gemeinsamen Forschung mit Civey und insbesondere der erstellten Machbarkeitsstudie war die Frage nach der Qualität von online erhobenen Stammdaten sowie die Repräsentativität von Non-Probability Stichproben. Non-Probability Stichproben sind Ziehungen, bei denen entweder nicht alle Personen der Grundgesamtheit eine Chance haben in der Stichprobe zu landen oder bei denen die Ziehungswahrscheinlichkeit nicht bekannt ist. Anders als Institute, die heute noch auf Probability Samples (Zufallsstichproben) setzen, verlässt sich Civey nicht darauf, durch eine zufällige Ansprache der Teilnehmer einen repräsentativen Bevölkerungsschnitt zu erreichen.

Dieses Thema erforscht nicht nur Civey. So hat beispielsweise die American Association for Public Opinion Research (AAPOR) schon länger ihren Standpunkt zu Zufallsstichproben geändert: Sie gibt klar vor, unter welchen Bedingungen eine sogenannte Non-Probability Stichprobe trotzdem repräsentativ ist [1]. Denn eine echte Zufallsstichprobe zu erzielen, wird zunehmend schwieriger. Sie bedingt, dass vor Befragung bei jedem Menschen in der Grundgesamtheit die Wahrscheinlichkeit bekannt ist, mit der er in die Stichprobe gelangt. Dies wäre durch Telefonumfragen zu erreichen, wenn a) jeder Mensch über einen Festnetzanschluss verfügen würde und b) bereit wäre, sich an Umfragen zu beteiligen. Vor dem Hintergrund, dass die Ausschöpfungsquoten stetig abgenommen haben [2], ist hier auch die Entwicklung in Deutschland hervorzuheben. Häder et al. veranschaulichen das anhand der CELLA2 Studie, die von Forsa im Auftrag des Gesis Instituts durchgeführt wurde [3]. Die Ausschöpfungsquote für Festnetztelefone betrug dabei 10,7%, die für Mobiltelefone sogar nur 7%. Damit ist die Annahme, dass die Teilnahmewahrscheinlichkeit in Zufallsstichproben vor Befragung bekannt ist, deutlich verletzt [4].

Für Online-Befragungen eignen sich lediglich Non-Probability Methoden. Werden bestimmte methodische Schritte eingehalten [5], genügen auf Non-Probability Sampling basierende Umfragen mindestens ebenso wissenschaftlichen Standards wie Umfragen, die mithilfe von Call-Center-Befragungen mit dem Ziel, eine Zufallsstichprobe zu erzielen, durchgeführt werden. An diese methodischen Schritte hält sich Civey und veröffentlicht, wie von der AAPOR empfohlen, Näherungen für die Bemessung von Stichprobenfehlern bei Non-Probability Samples. Civey berechnet den Stichprobenfehler mittels Bayesianischer Credible Intervals. Dies ist im Whitepaper von Civey nachzulesen.

Weiterentwicklung der Methode

Civey ist ein Technologieunternehmen. Eine kontinuierliche Weiterentwicklung und Optimierung der Methodik ist aus diesem Selbstverständnis heraus immer höchste Priorität.

So forscht Civey aktuell beispielsweise an multivariaten Modellen, ganz konkret mit „Multilevel Regression with Poststratification“ (MRP) und stellt seine Echtzeit-Umfragen schrittweise auf diese Methode um. Das Spannende hierbei: Statt mit einem a priori festgelegten Modell zu arbeiten, findet der Algorithmus nun selbstständig die entscheidenden korrelierenden Gewichtungsvariablen. So kann dem Modell eine Vielzahl von Variablen angeboten werden, ohne dabei die Varianz in den Ergebnissen zu erhöhen. Eine besondere Herausforderung in allen Berechnungen liegt dabei darin, die Modelle in ein Live-System zu übertragen.

In Deutschland ist Civey einer der Vorreiter für dieses Verfahren. In den USA gehören sie dagegen längst zum Standard. Auf Grundlage der im Wesentlichen an der Stanford University bereits in den 1990er und 2000er Jahren entwickelten wissenschaftlichen Theorien setzen heute sowohl das führende PEW Institute for Research auf diese Verfahren als auch führende Medien. Darunter beispielsweise die New York Times und CBS – ein Schritt, der vom renommierten Pew Research Institute begrüßt wird [6]. Auch der Anbieter YouGov setzt – wie Civey auch – ausschließlich auf Online-Befragungen und wird von diesen Medienhäusern als seriöse Quelle eingestuft.

Weiter Informationen über die Civey Methodik gibt es in unseren FAQs.

Quellenverzeichnis:

[1] AAPOR ‘Guidance on Reporting Precision for Nonprobability Samples’, abgerufen am 18. September unter https://www.aapor.org/getattachment/Education-Resources/For-Researchers/AAPOR_Guidance_Nonprob_Precision_042216.pdf.aspx.
[2] Für Ausschöpfungsquoten in den USA siehe Pew Research Center ‘What Low Response Rates Mean for Telephone Surveys’, abgerufen am 24.Oktober unter http://www.pewresearch.org/2017/05/15/what-low-response-rates-mean-for-telephone-surveys.
[3] Häder et al. (2012: 122-124) ‘Telephone Surveys in Europe: Research & Practice’.
[4] Valliant & Dever (2018: 91/113 ff. sowie 30/113 als Überblick) ‘Nonprobability Sampling and Analysis for Population Inference’.
[5] Siehe dazu AAPOR ‘Guidance on Reporting Precision for Nonprobability Samples’, abgerufen am 18. September unter https://www.aapor.org/getattachment/Education-Resources/For-Researchers/AAPOR_Guidance_Nonprob_Precision_042216.pdf.aspx.
[6] Pew Research Center ‘Q/A: What the New York Times’ polling decision means’, abgerufen am 18. September 2018 unter http://www.pewresearch.org/fact-tank/2014/07/28/qa-what-the-new-york-times-polling-decision-means.