Unsere Methode für Interessierte

1. Erhebung

Civey spielt seine Umfragen rund um die Uhr über sein Umfragenetzwerk auf mehr als 25.000 Webseiten (URLs) monatlich aus. So erreicht Civey unterschiedlichstes Zielpublikum. Die größte Reichweite im Civey Umfragenetzwerk erzielen Nachrichtenwebseiten und E-Mail- oder Multi-Content-Portale sowie Fachmagazine. Darüber hinaus binden auch private Webseiten-Betreiber Civey Umfragen regelmäßig auf ihren URLs ein. Durch die Einbindung von Befragungen in redaktionelle Inhalte auf Drittwebseiten erhält Civey einen ersten Point of Contact mit den Befragten.

Die 25.000 URLs, auf denen das Civey Umfragetool eingebettet ist, werden im Monat knapp 20 Millionen Mal aufgerufen. Nutzer, die eine Webseite aufrufen, auf der eine Umfrage von Civey eingebunden ist, haben die Möglichkeit an dieser Stelle eine erste Frage (Item) zu beantworten. Wird dieses erste Item beantwortet, wird der Nutzer aufgefordert sich zu registrieren.

Im Rahmen dieser Registrierung werden folgende Angaben abgefragt: Geburtsjahr, Geschlecht und Postleitzahl des Wohnorts. Darüber hinaus muss der Nutzer sich mit der Datenverarbeitung durch Civey einverstanden erklären. Ab diesem Zeitpunkt setzt Civey einen Browser-Cookie. Der Nutzer hat darüber hinaus die Möglichkeit, sich mit seiner E-Mail-Adresse zu registrieren und weitere Angaben über sich zu machen.

Registrierte Nutzer können Echtzeit-Ergebnisse sehen.

Nach erfolgter Registrierung sieht der Nutzer die von Civey berechneten repräsentativen Ergebnisse. Neben diesem Ergebnis kann der Nutzer auch aufaddierte Klicks über den gesamten Befragungszeitraum als „Rohdaten“ einsehen. Darüber hinaus sieht der Nutzer statistische Kennzahlen wie den Befragungszeitraum, Anzahl der Abstimmenden über den gesamten Befragungszeitraum, Anzahl der Abstimmenden, die in die Stichprobe gezogen und gewichtet wurden sowie den statistischen Fehler.

Über einen Empfehlungsalgorithmus (Recommendation Engine) werden dem Nutzer nach Beantwortung dieses ersten Items weitere Umfragen ausgespielt. Jedes empfohlene und durch den Nutzer beantwortete Item wird dem jeweiligen Nutzerprofil zugeordnet. Auf diese Weise lernt Civey sukzessive mehr über die Meinungen und Wertehaltungen des Nutzers und stellt zugleich die Vollständigkeit der zu interessierenden Variablen sicher. Das sind insbesondere die Variablen, die später in der Gewichtung genutzt werden können.

Welche Umfragen empfohlen werden ist von Nutzer zu Nutzer unterschiedlich. Menschen in Bayern sehen andere Fragen als Menschen in Hessen. Selbstständige können zu anderen Themen befragt werden als Angestellte.

Umfragen werden an die gewünschte Zielgruppe auf den 25.000 genannten Webseiten ausgespielt. Diesen Schritt nennt Civey Riversampling. Der Riversampling-Algorithmus stellt dabei sicher, dass Umfragen über die URLs gleichmäßig an die zu befragende Zielgruppe ausgespielt werden. Er garantiert demnach, dass nicht nur Stimmen von einer Website in die Berechnung einfließen, sondern möglichst viele Nutzer mit unterschiedlichen Eigenschaften erreicht werden. Darüber hinaus wird sichergestellt, dass die Stimmen gleichmäßig über die Zeit erhoben werden. Nur Stimmen, die durch den Riversampling-Algorithmus unter registrierten und verifizierten Nutzern erhoben werden, können in die Stichprobe gelangen.

2. Verifizierung

Jedes beantwortete Item trägt schrittweise zur Verifizierung des Nutzers bei. Erst, wenn ein Nutzer vollständig verifiziert ist, hat er die Chance, in Stichproben berücksichtigt zu werden.

Im Laufe des Verifizierungsprozesses wird geprüft, ob (1.) der Nutzer eine echte Person ist, (2.) Civey ausreichend Daten vom Nutzer für eine spätere Gewichtung vorliegen und (3.) mit welcher Wahrscheinlichkeit seine Angaben der Wahrheit entsprechen. Dabei werden abstimmende Nutzer im Rahmen eines internen User-Trust-Index eingestuft und erst in der Berechnung berücksichtigt, wenn dieser sie positiv einstuft. Über die Einordnung im User-Trust-Index entscheiden beispielsweise Mausbewegungen des Nutzers, das Klickverhalten und Geschwindigkeit der Teilnahme sowie die inhaltliche Plausibilität beziehungsweise Widersprüche in gegebenen Antworten.

So beugt Civey durch inhaltliche, statistische und technische Kontrollmechanismen der Gefahr einer gezielten Manipulation vor.

3. Stichprobenziehung

Im Rahmen einer Preselection wird vor der eigentlichen Stichprobenziehung sichergestellt, dass aus jeder Bevölkerungsgruppe eine Mindestanzahl von Befragten berücksichtigt wurde. Die Preselection bestimmt außerdem den Befragungszeitraum. So wird beispielsweise bei einer gewünschten Stichprobengröße von 5.000 Befragten der Befragungszeitraum so festgelegt, dass innerhalb dieser Zeitspanne mindestens 1.500 Befragte jedes Geschlechts befragt werden. Innerhalb des Befragungszeitraums werden also in der Regel deutlich mehr Menschen befragt als schlussendlich in die tatsächliche Stichprobe gelangen. In der Regel nimmt Civey 20.000 Personen in diese Vorauswahl, um eine Stichprobe von 5.000 zu ziehen.

Basierend auf den Befragten, die in die Preselection gelangt sind, wird anhand der Variablen Alter, Geschlecht, Parteipräferenz, Zeitpunkt der Stimmabgabe und Ort der Stimmabgabe eine quotierte Stichprobe gezogen. Ort der Stimmabgabe bezieht sich hierbei auf den Ort im Civey Umfragetool (Erstes beantwortetes Item beziehungsweise eingebundene Frage vs. empfohlene Items über die Recommendation Engine). Das erste beantwortete Item kommt nur dann in die Stichprobe, wenn zwischen dem Antwortverhalten auf dieser URL und dem Ergebnis keine Korrelation besteht. So wird ebenfalls ausgeschlossen, dass über das erste Item in einem möglicherweise suggestiv wirkenden Kontext das Ergebnis beeinflusst werden kann. Im Durchschnitt sind 2,5% der Votes vom ersten Item.

4. Gewichtung

In einem vollautomatisierten Schritt werden die in der Stichprobe enthaltenen Stimmen nach weiteren Soziodemografika wie beispielsweise Alter, Geschlecht, Familienstand, Bevölkerungsdichte, Kaufkraft und Parteipräferenz nachgewichtet, um etwaig verbliebene Verzerrungen zu korrigieren.

Civey gewichtet hierbei in der Regel gegen offizielle Bevölkerungsdaten. Diese kommen vom statistischen Bundesamt oder dem Bundeswahlleiter. Da leider nicht alle Bevölkerungsdaten gemeinsam vorliegen, sondern häufig lediglich Informationen über die Randverteilung bekannt sind, verwendet Civey in vielen Fällen die Gewichtung über die Randverteilungen (Raking). Liegen gemeinsame Verteilungen vor oder können diese ermittelt werden, bevorzugt Civey Poststratifizierung als Gewichtungsmethode.

Wissenschaftliche Einordnung und Weiterentwicklung der Methode

Einordnung der Methode

Civeys Methode ist gemeinsam mit Professoren der Hochschule Rhein-Waal erforscht. Prof. Dr. Oliver Serfling, Prof. Jakob Lempp und Dr. Jan Niklas Rolf haben dabei eine Machbarkeitsstudie erstellt. Kern der gemeinsamen Forschung mit Civey und insbesondere der erstellten Machbarkeitsstudie war die Frage nach der Qualität von online erhobenen Stammdaten sowie die Repräsentativität von Non-Probability Stichproben. Non-Probability Stichproben sind Ziehungen, bei denen entweder nicht alle Personen der Grundgesamtheit eine Chance haben in die Stichprobe zu gelangen oder bei denen die Ziehungswahrscheinlichkeit nicht bekannt ist. Anders als Institute, die heute noch auf Probability Stichproben (Zufallsstichproben) setzen, verlässt sich Civey nicht darauf, durch eine zufällige Ansprache der Teilnehmer einen repräsentativen Bevölkerungsschnitt zu erreichen.

Dieses Thema erforscht nicht nur Civey. So hat beispielsweise die American Association for Public Opinion Research (AAPOR) schon länger ihren Standpunkt zu Zufallsstichproben geändert: Sie gibt klar vor, unter welchen Bedingungen eine sogenannte Non-Probability Stichprobe trotzdem repräsentativ ist.¹ Eine echte Zufallsstichprobe zu erzielen wird zunehmend schwieriger. Sie bedingt, dass vor Befragung bei jedem Menschen in der Grundgesamtheit die Wahrscheinlichkeit bekannt ist, mit der er in die Stichprobe gelangt. Dies wäre durch Telefonumfragen zu erreichen, wenn
a) jeder Mensch über einen Festnetzanschluss verfüge und
b) bereit wäre, sich an Umfragen zu beteiligen.
Vor dem Hintergrund, dass die Ausschöpfungsquoten stetig abgenommen haben,² ist hier auch die Entwicklung in Deutschland hervorzuheben. Häder et al. veranschaulichen das anhand der CELLA2 Studie, die von Forsa im Auftrag des Gesis Instituts durchgeführt wurde.³ Die Ausschöpfungsquote für Festnetztelefone betrug dabei 10,7%, die für Mobiltelefone sogar nur 7%. Damit ist die Annahme, dass die Teilnahmewahrscheinlichkeit in Zufallsstichproben vor Befragung bekannt ist, deutlich verletzt.⁴

Für Online-Befragungen eignen sich lediglich Non-Probability Methoden. Werden bestimmte methodische Schritte eingehalten,⁵ genügen auf Non-Probability Sampling basierende Umfragen mindestens ebenso wissenschaftlichen Standards wie Umfragen, die mithilfe von Call-Center-Befragungen durchgeführt werden und das Ziel verfolgen, eine Zufallsstichprobe zu erzielen. An diese methodischen Schritte hält sich Civey und veröffentlicht, wie von der AAPOR empfohlen, Näherungen für die Bemessung von Stichprobenfehlern bei Non-Probability Samples. Civey berechnet den Stichprobenfehler mittels Bayesianischer Credible Intervals. Dies ist im Whitepaper von Civey nachzulesen.

Weiterentwicklung der Methode

Civey ist ein Technologieunternehmen. Eine kontinuierliche Weiterentwicklung und Optimierung der Methodik ist aus diesem Selbstverständnis heraus immer höchste Priorität.

So forscht Civey aktuell beispielsweise an multivariaten Modellen, ganz konkret mit „Multilevel Regression with Poststratification“ (MRP) und stellt seine Echtzeit-Umfragen schrittweise auf diese Methode um. Das Spannende hierbei: Statt mit einem a priori festgelegten Modell zu arbeiten, findet der Algorithmus nun selbstständig die entscheidenden korrelierenden Gewichtungsvariablen. So kann dem Modell eine Vielzahl von Variablen angeboten werden, ohne dabei die Varianz in den Ergebnissen zu erhöhen. Eine besondere Herausforderung in allen Berechnungen liegt dabei darin, die Modelle in ein Live-System zu übertragen.

In Deutschland ist Civey einer der Vorreiter für diese Verfahren, die in den USA längst zum Standard gehören. Auf Grundlage der im Wesentlichen an der Stanford University bereits in den 1990er und 2000er Jahren entwickelten wissenschaftlichen Theorien setzen heute sowohl führende Institute als auch Medien auf diese Methodik. Darunter beispielsweise die New York Times und CBS. Auch der Anbieter YouGov beefragt – wie Civey auch – ausschließlich über Online-Befragungen und wird von diesen Medienhäusern als seriöse Quelle eingestuft.

Weitere Informationen über die Civey Methodik finden Sie unter Hilfe.

Quellenverzeichnis:

¹ AAPOR ‘Guidance on Reporting Precision for Nonprobability Samples’, abgerufen am 18. September unter https://www.aapor.org/getattachment/Education-Resources/For-Researchers/AAPOR_Guidance_Nonprob_Precision_042216.pdf.aspx.
² Für Ausschöpfungsquoten in den USA siehe Pew Research Center ‘What Low Response Rates Mean for Telephone Surveys’, abgerufen am 24.Oktober unter http://www.pewresearch.org/2017/05/15/what-low-response-rates-mean-for-telephone-surveys.
³ Häder et al. (2012: 122-124) ‘Telephone Surveys in Europe: Research & Practice’.
⁴ Valliant & Dever (2018: 91/113 ff. sowie 30/113 als Überblick) ‘Nonprobability Sampling and Analysis for Population Inference’.
⁵ Siehe dazu AAPOR ‘Guidance on Reporting Precision for Nonprobability Samples’, abgerufen am 18. September unter https://www.aapor.org/getattachment/Education-Resources/For-Researchers/AAPOR_Guidance_Nonprob_Precision_042216.pdf.aspx.