Verlässliche Daten mit Civey

Die folgende Darstellung ist die Einordnung der Civey Methode im Kontext gegenwärtiger Debatten über das Für und Wider internetbasierter nicht-probabilistischer Stichprobenziehung.

Das vollständige Whitepaper inklusive des methodologischen Anhangs über unsere Methode finden Sie hier

Der klassische Ansatz der Stichprobenziehung geht auf den Statistiker Neyman (1934) zurück. Die von ihm entwickelte Theorie des Probability-Samplings und nahezu jedes seither publizierte Standardwerk folgen dabei dem gleichen Grundgedanken: Über das Design der Stichprobe kann jedem Individuum eine klare Wahrscheinlichkeit zugeordnet werden, zufällig in diese ausgewählt zu werden. Auf dieser Basis können aus der statistischen Theorie verlässliche Aussagen über relevante Größen in der Grundgesamtheit, zum Beispiel der Anteil von Zustimmung zu einer Aussage, hergeleitet werden.

Die Formulierung des Probability-Samplings repräsentiert einen Meilenstein der Survey-Statistik: Durch die Befragung einer kleinen Zufallsauswahl von Personen war es erstmals auf seriöser Grundlage möglich, Aussagen über eine Grundgesamtheit zu treffen. Über mehrere Jahrzehnte erfreute sich die in Neymans Tradition stehende Methode deshalb großer Beliebtheit in der Markt- und Meinungsforschung und galt insbesondere in der Privatwirtschaft häufig kombiniert mit Callcenter-basierten Telefonbefragungen als Branchenstandard. Aus dem Grundgedanken des design-basierten Ansatzes folgen zwei zentrale Annahmen: Sämtliche Personen innerhalb der interessierenden Grundgesamtheit müssen einerseits über eine Auflistung (Frame) bekannt sein und andererseits über eine positive und berechenbare Wahrscheinlichkeit verfügen, in die Stichprobe zu gelangen. In Zeiten flächendeckender Festnetzverbreitung, verpflichtender Eintragungen in Telefonbücher und hoher Bereitschaft zur Teilnahme an Umfragen konnte diese zentrale Basis des Probability-Samplings als gegeben angenommen werden, sodass valide und verlässliche Rückschlüsse auf die Bevölkerung möglich waren.

Heutzutage ist telefonbasiertes Probability-Sampling jedoch mit schwerwiegenden Herausforderungen konfrontiert: Zuallererst ist hier die schwindende Bereitschaft der Bevölkerung zu nennen, an Telefonumfragen teilzunehmen. Aus den USA existieren hierzu detaillierte Zahlen: So sank der Anteil der tatsächlich erzielten Interviews an der ursprünglich ausgewählten Stichprobe (Ausschöpfungsquote) für die renommierte Gallup Poll Social Series von 28 % (1997) auf 7 % (2017), der Anteil der Erreichten, die sich bereit erklärten, am Interview teilzunehmen, halbierte sich in der gleichen Zeit (Marken, 2018). Auch die Ausschöpfungsquoten von Pew Research fielen von 1997-2018 von 36% auf gerade einmal 6% (Kennedy and Hartig, 2019). Für die Marktforschung insgesamt spricht der Branchenverband AAPOR alleine im Zeitraum 2008-2015 von einem Einbruch von 15.7% auf 9.3% (Festnetz) bzw. 11.7% auf 7.0% (Mobilfunk).

Dies ist bedenklich, da ein Zusammenhang zwischen der Ausschöpfungsquote und der durchschnittlichen Verzerrung innerhalb einer Umfrage existieren kann (Brick and Tourangeau, 2017). Je geringer die Bereitschaft zur Teilnahme, desto größer das Risiko, dass diejenigen, die tatsächlich in die Stichprobe gelangen, systematische Unterschiede zur Grundgesamtheit aufweisen. Im Kampf gegen Umfragemüdigkeit müssen deshalb teure Anreize bereitgestellt oder aufwendige flexible Survey-Designs genutzt werden, die den Sampling-Prozess adaptiv an das Antwortverhalten anpassen (Kinney and Cooney, 2019). Telefonumfragen leiden weiterhin unter einer sinkenden Festnetz-Penetration, welche komplexe Dual-Frame-Ansätze notwendig macht, durch die zusätzlich Mobilfunknutzer befragt werden. Smartphone-Betriebssysteme, Apps und Provider blockieren jedoch zunehmend potentielle Spam-Anrufe unbekannter Nummern, sodass Befragte in Zukunft noch schwieriger zu erreichen sein werden (Dutwin et al.,2018).

Etablierte wissenschaftliche Großbefragungen können die durch diese veränderten Umstände entstehenden, teils erheblichen Kostensteigerungen (Blohm and Koch, 2015) zu Gunsten verlässlicher Ergebnisqualität in Kauf nehmen. Dies garantiert weiterhin eine qualitativ hochwertige Grundlage für sozial- und verhaltenswissenschaftliche Forschung. Private Unternehmen sind dazu oftmals nicht in der Lage, ohne ihre Wirtschaftlichkeit zu gefährden. Die einzige kostenneutrale Alternative zum Ausgleich der niedrigen Ausschöpfungsquoten sind signifikante Nachgewichtungen, welche jedoch Neymans Grundidee zuwiderlaufen, da sie von Annahmen abhängen, die auch im Kontext des Non-Probability Samplings notwendig sind. Es ist deshalb fraglich, inwieweit die tatsächliche Praxis der Markt- und Meinungsforschung heutzutage noch den Ansprüchen des Probability Samplings genügen kann oder ob die Voraussetzungen dieses Paradigmas so vollumfänglich verletzt sind, dass dieser Begriff nicht mehr angebracht ist.

Sowohl vor als auch nach Neymans Durchbruch wurden auch andere Methoden der Stichprobenziehung genutzt, die nicht allen Elementen der Grundgesamtheit eine eindeutige, positive Auswahlwahrscheinlichkeit zuordnen (Stephan and Mc-Carthy, 1958). Diese werden auch als Non-Probability Sampling-Methoden bezeichnet. Während sie nach der Etablierung des Probability-Samplings zunächst nicht mehr als eine Randerscheinung waren, änderte sich dies mit der wachsenden Verbreitung des Internets und dem fortschreitenden Fall der Ausschöpfungsquoten.

Mittlerweile mehren sich Stimmen in der Forschung, die sich für die Nutzung von Online Non-Probability-Sampling aussprechen (Wang et al., 2015; Ansolabehere and Rivers, 2013; Ansolabehere and Schaffner, 2014; Goel et al., 2015). Neben beeindruckenden Erfolgen in der Prädiktion von Wahlergebnissen spricht hierfür die gerade im Kontext der Marktforschung große Zweckeignung (fit for purpose) im Hinblick auf praktisch benötigte Präzision, Ergebnisgranularität, Durchführbarkeit, Geschwindigkeit und Kosten (AAPOR, 2015). Online-Non-Probability Surveys sind häufig günstiger, ermöglichen die Erhebung großer Stichproben und die Befragung kleiner Zielgruppen und können schnell und unkompliziert durchgeführt werden. Zudem verringert die Anonymität der Online-Befragung das Risiko unehrlichen Antwortverhaltens als Ergebnis sozialer Erwünschtheit sowohl im Vergleich zu Telefon- (Keeter, 2015) als auch papierbasierten Umfragen (Gnambs and Kaspar, 2015).

Andere Autoren widersprechen dieser Initiative auf Basis von empirischen (MacInnis et al., 2018) und theoretischen (Quatember, 2019) Argumenten. Probability-Sampling kann als einheitlicher theoretischer Rahmen betrachtet werden, da sämtliche verwendeten Methoden von der Existenz einer bekannten Ziehungswahrscheinlichkeit größer Null für jedes Individuum in der Grundgesamtheit ausgehen. Die Ansätze des Non-Probability-Samplings vereint hingegen primär die Abwesenheit jener Wahrscheinlichkeit. Das bedeutet, dass sie auf eine sorgfältige Berücksichtigung des Selektionsmechanismus angewiesen sind, der bestimmt, ob ein Individuum Teil des Samples wird oder nicht. Inwieweit dieser Nachteil in der Praxis der Marktforschung von Relevanz ist, kann allerdings bezweifelt werden. So müssen (vermeintliche) Probability-Samples wie bereits angedeutet auf vergleichbare Korrekturen zurückgreifen, um die bereits angesprochenen Verzerrungen im Antwortverhalten bedingt durch extrem niedrige Ausschöpfungsquoten auszugleichen (Rivers, 2013).

Zudem wurden in den vergangenen Jahren maßgebliche Fortschritte in der theoretischen Fundierung des Non-Probability-Samplings gemacht, sodass heute gemeinhin zwischen zwei etablierten Methoden für valide Schlüsse aus diesen unterschieden wird: der auf Sample-Matching basierenden Quasi-Randomisierung und der Superpopulationsmodellierung¹: Während Quasi-Randomisierungsansätze mit Hilfe einer probabilistischen Stichprobe von hoher Qualität versuchen, künstliche Ziehungswahrscheinlichkeiten für Personen in einem Non-Probability-Sample zu bestimmen, schätzen Superpopulationsansätze unter Verwendung von in der Bevölkerung entweder auf Individual- oder auf Aggregatebene bekannten Informationen und einem im Non-Probability-Sample gebildeten Modell die Antworten aller Personen in der Grundgesamtheit.

Hierauf aufbauend existieren klare Voraussetzungen, unter denen Non-Probability-Sampling valide Ergebnisse liefern kann. Zentral ist insbesondere die Annahme der Ignorable Sample Selection bzw. Selection at Random. Diese ist eng mit dem im Kontext der Kategorisierung fehlender Daten genutzten Missing at Random-Konzept verbunden und wird zum Beispiel von Rivers (2013) ausführlich beschrieben. Praktisch bedeutet dies, dass gegeben der im Rahmen des Modells oder des Matchings verwendeten Variablen der Selektionsmechanismus unabhängig vom Antwortverhalten (bzgl. der interessierenden Analysevariable) der Nutzer sein muss, um valide Ergebnisse zu garantieren. Diese Annahme wird im Kontext des bei Civey verwendeten Modells im technischen Anhang genauer diskutiert.

Die bei Civey verwendete Methodik basiert im Kern auf einer Kalibration via Raking zur Berechnung der regulären Ergebnisse (welche man als implizite Superpopulationsmodellierung betrachten kann, wie im Anhang genauer erläutert wird) und einer expliziten Superpopulationsmodellierung durch Mehrebenen-Regression und Poststratifizierung für kleinräumige Schätzungen auf Bundesland-, Bezirks- und Kreisebene. Sie lässt sich somit in die beschriebene Systematik der Non-Probability-Sampling-Theorie einfügen und orientiert sich an den Anforderungen der aktuellen Fachliteratur.

Die zentralen Elemente des methodischen Vorgehens bei Civey werden im Folgenden kurz erläutert, eine umfassende mathematische Darstellung findet sich im Whitepaper.

Sämtliche, im deutschlandweiten Online-Panel von Civey, durchgeführten Befragungen bauen auf einem umfassenden und nach festen Kriterien (siehe unten) (siehe 3.1.3) gepflegtem Online-Panel mit mittlerweile mehr als einer Million aktiven und verifizierten Nutzern auf. Um dessen Qualität nachhaltig zu gewährleisten, erfolgt die Rekrutierung von neuen Panel-Mitgliedern über einen innovativen Ansatz: Umfragen werden täglich auf mehrere tausend URLs über ein Netzwerk von zahlreichen zahlreichen Medienpartnern und Email-Providern eingebunden. Diese weisen unterschiedliche thematische Schwerpunkte auf, um Personen auf das Civey-Panel aufmerksam zu machen und auf diese Weise zu einer Registrierung und längerfristigen Teilnahme am Cive-Panel zu ermutigen.

Die netzwerkbasierte Rekrutierung bei Civey ist nicht werbebasiert, sondern organisch unserer Medienpartner integriert. Sie stellt andererseits nur den ersten Schritt dar, von dem ausgehend weitere Informationen über angehende Panel-Mitglieder von diesen erfragt werden. So wird sichergestellt, dass die letztendliche Qualität der für die Berechnung von Ergebnissen verwendeten Daten auf einem konstant hohen Niveau verbleibt.

Nahezu sämtliche Online Non-Probability-Panels bieten potentiellen Nutzern eine Form von finanziellem Anreiz (Geld, Gutscheine, Spenden, etc.), um sie zur Beantwortung von Fragen zu motivieren.

Der Anreiz zur Umfrageteilnahme bei dem deutschen Online-Panel von Civey entsteht hingegen durch die exklusive Sicht auf die gewichteten Umfrageergebnisse. Mit dem alternativen Ansatz, Panel-Mitglieder in Form von Informationen zu incentivieren, hat Civey das größte Open-Access-Panel Deutschlands mit mehr als einer Million aktiven und verifizierten Nutzern aufgebaut. Auf diese Weise hat Civey die Möglichkeit, auch Teilnehmer zu motivieren, für die finanzielle Gegenmittel keinen Anreiz darstellen.

Zur Verhinderung von Manipulation greifen wir auf ein breites Spektrum von dem Stand der Forschung entsprechenden Methoden zurück, wie sie zum Beispiel von Teitcher et al. (2015) beschrieben werden.

In den Berechnungen werden ausschließlich verifizierte Teilnehmende berücksichtigt. Diese Verifizierung umfasst eine niedrigschwellige Registrierung, bei der Befragte grundlegende Soziodemographika und ein Einverständnis zur Datenverarbeitung abgeben. Weitere Abstimmungen ordnet Civey über E-Mail-Adressen, Authentifizierungs-Token und Cookies den entsprechenden Befragten zu. Darüber hinaus prüfen wir im Rahmen der fortlaufenden Verifizierung, ob der einzelne Nutzer eine echte Person ist, ausreichend Daten für eine spätere Gewichtung vorliegen und mit welcher Wahrscheinlichkeit seine Angaben der Wahrheit entsprechen. Hierfür werden technische, statistische und inhaltliche Kriterien geprüft, darunter die Geschwindigkeit der Teilnahme sowie die inhaltliche Plausibilität, beziehungsweise das Vorhandensein etwaiger Widersprüche in gegebenen Antworten. Mehrfache Antworten eines Nutzers auf die gleiche Frage sind innerhalb eines fragespezifischen Zeitraums nicht möglich. Eine gezielte Manipulation der Ergebnisse ist somit ausgeschlossen.

Aus allen innerhalb eines frageabhängigen Zeitfensters abgegebenen Antworten wird eine quotierte Stichprobe von einer vorher festgelegten Größe (üblicherweise 5000 Befragte) gezogen. Dabei muss die Verteilung der Stichprobe im Hinblick auf bestimmte demographische Variablen wie Alter, Geschlecht² und Wahlverhalten der (z.B. aus administrativen Daten) bekannten Verteilung innerhalb der Grundgesamtheit entsprechen. Da durch den inhaltlichen Kontext der Einbindung unserer Umfragen ins journalistische Angebot unserer Medienpartner Framing-Effekte (Stalans, 2012) nicht ausgeschlossen werden können, wird die Antwort eines Nutzers für die weitere Analyse nur dann verwendet, wenn ihm diese durch den Civey-Algorithmus randomisiert ausgespielt wurde. Die Information über die erste beantwortete Frage eines Nutzers innerhalb einer zusammenhängenden Sitzung wird somit üblicherweise nicht verwendet³.

Dieser Prozess hat nur wenig Gemeinsamkeiten mit der klassischen quotierten Stichprobe der analogen Welt, in welcher ein Interviewer nach eigenem Ermessen entscheidet, ob eine Person befragt werden soll oder nicht. Einige gut gewählte Quoten können so online bereits eine signifikante Verzerrung des Ergebnisses verhindern und vermeiden exzessive Gewichtung im weiteren Verlauf der Berechnungen. (Rivers, 2007)

Etwaige nach dem Quota-Sampling noch verbleibende Abweichungen zwischen Stichprobe und Grundgesamtheit im Hinblick auf bekannte Variablen (z.B. Alter, Geschlecht, Wahlverhalten, Parteineigung und geographische Verteilung) werden durch eine Raking-basierte Gewichtung beseitigt. Diese ursprünglich von Deming and Stephan (1940) eingeführte Methode wird klassischerweise im Kontext des Probability Samplings zur Korrektur von Verzerrungen durch niedrige Ausschöpfungsquoten genutzt. Sie kalibriert die Gewichtung der Beobachtungen in einer Stichprobe so, dass sie mit den Randverteilungen einer oder mehrerer Variablen übereinstimmt, welche zum Beispiel aus der amtlichen Statistik bekannt sind. In der Stichprobe unterrepräsentierte Gruppen erhalten somit ein höheres Gewicht, überrepräsentierte ein niedrigeres.

Der Non-Probability-Terminologie von Valliant et al. (2018) folgend kann das Raking als eine Art implizites Superpopulationsmodell betrachtet werden. Superpopulationsmodelle zeichnen sich generell dadurch aus, dass der Zusammenhang zwischen dem Antwortverhalten und einer Reihe von über die Befragten vorliegenden Informationen explizit (zum Beispiel mit Hilfe einer linearen Regression, wie beim sog. GREG-Schätzer, Särndal et al. (1992)) modelliert wird, um Vorhersagen für jedes Individuum (oder Totalwerte) in der Grundgesamtheit vorherzusagen (Elliott and Valliant, 2017). Obwohl vergleichsweise simpel und robust, liefert Raking Ergebnisse, die vergleichbar mit jenen deutlich komplexerer Superpopulationsmodelle sind (Valliant, 2019). Ein detaillierter Überblick über den Zusammenhang von Superpopulationsmodellen, ihren Annahmen und Raking ist im technischen Anhang zu finden.

Die so erzeugten Gewichte können allerdings eine erhebliche Variation aufweisen: Manche Beobachtungen in stark unterrepräsentierten Gruppen verfügen unter diesen Umständen über einen deutlich größeren Einfluss auf das Ergebnis als der durchschnittliche Befragte, was die Unsicherheit der Ergebnisse erhöht. Zu diesem Zweck wird auf das Verfahren des Weight-Trimmings zurückgegriffen, welches einen Maximal- und einen Minimalwert für die kalibrierten Gewichte festsetzt⁴.

Neben der Bestimmung von Bevölkerungsanteilen und ihrer Aufschlüsselung nach demographischen Subgruppen berechnet Civey auf Anfrage kleinräumige geographische Schätzungen für Bundesländer, Regierungsbezirke und Landkreise. Häufig liegen jedoch nicht genug Beobachtungen vor, um verlässliche Ergebnisse mit Hilfe der oben beschriebenen Kombination aus Quota-Sampling und Raking für jeden Regierungsbezirk oder gar jeden der 401 deutschen Landkreise und kreisfreie Städte zu erhalten. Derartige Probleme werden in der Survey-Statistik unter dem Schlagwort Small Area Estimation⁶ erforscht, eine Disziplin, welche sich seit Jahrzehnten konstant weiterentwickelt (Pfeffermann, 2013). Die Lösungen der Small Area Estimation bauen dabei meist auf der effizienten Nutzung aller verfügbaren Daten durch partial Pooling⁷ und der Verwendung von Hilfsinformationen (Arbeitslosigkeit, Kaufkraft, etc.) auf, die für jedes der Gebiete, für die eine Vorhersage erfolgen soll, vorliegen.

Insbesondere im Kontext von Non-Probability-Stichproben hat sich der von Park et al. (2004) entwickelte Mehrebenen-Regression und Poststratifizierungs-Ansatz (MRP) als beliebte Methode der Small Area Estimation erwiesen (Wang et al., 2015; Shirley et al., 2014; Hoover and Dehghani, 2018), welche den spezifischen Anforderungen von Civey entsprechend in einer modifizierten Version adaptiert wurde. Zentrale Veränderungen betreffen dabei die automatische Auswahl der im Modell verwendeten Kovariaten mit Hilfe von L1-Regularisierung (LASSO) nach Vincent and Hansen (2014) und die Verwendung einer Approximation des rechenintensiven vollständig bayesianischen multinomialen gemischten logistischen Regressionsmodells durch mehrere binäre gemischte logistische Regressionen. Weiterhin wird eine synthetische Poststratifizierung (Leemann and Wasserfallen, 2017) basierend auf mehreren partiellen gemeinsamen Verteilungen, für welche amtliche Daten existieren, durchgeführt, sofern keine vollständige Poststratifizierung möglich ist. Die Details dieser Methode sind im technischen Anhang nachzuvollziehen.

Freitextantworten dienen der Erfassung individueller Gedanken, Gefühle und nuancierter Meinungen. Die Analyse von Ergebnissen offener Fragestellungen kann somit das Verständnis der öffentlichen Meinung erweitern. Im Rahmen der Erhebung von Freitextantworten spielt Civey in seinem Online-Panel eine offene Frage aus, die Panelisten in einem Text mit bis zu 140 Zeichen beantworten können. Zur Gewährleistung der Datengüte werden im Anschluss zunächst ungültige Eingaben (z.B. zufällige Tastenanschläge) automatisiert aussortiert.

Civey nutzt dann ein Large Language Modell (LLM) für die Textanalyse, um die prägnantesten Themen aus allen Freitextantworten zu extrahieren. Das Modell ist darauf ausgelegt, das in der Regel breite Spektrum aller Meinungen in den Themen zu repräsentieren. Anschließend wird mit Hilfe eines LLMs jede gültige Antwort einem der Themencluster zugeordnet. Die Trennschärfe der gebildeten Kategorien sowie Zuordnungen der Antworten zu den Clustern werden im Anschluss von Civey-Researchern verifiziert, um Genauigkeit und Aussagekraft sicherzustellen.

Die zugeordneten Themen ermöglichen es im Weiteren, die Freitextantworten genauso zu behandeln wie standardisierte Antworten geschlossener Umfragen. Civey integriert diese also in den in 3.2.1 bis 3.2.3 beschriebenen methodischen Prozess zur Berechnung von Anteilen, welcher Quota-Sampling und Raking beinhaltet. Dies erlaubt einen umfassenden und repräsentativen Einblick in die Antworten.

Civey stellt die Paneltechnologie bereit, während unsere Partner die Panelisten auf das eigene Umfragetool von Civey lenken. Nachdem beim Panelanbieter eine für die Erhebung gewünschte Zielgruppe (z.B. Autofahrer) konfiguriert und die relevanten Quoten festgelegt wurden, erhalten wir diesen Vorgaben entsprechende Zugriffe auf unserem Widget. Die vom Panelanbieter bereitgestellten Zielgruppen und Quoten werden von Civey erneut dahingehend überprüft, ob sie den festgelegten Quoten tatsächlich entsprechen. Alle für die Festlegung der Zielgruppen und Quoten relevanten Merkmale werden durch Civey erneut selbst erhoben.

Die Panelisten beantworten einen vorab definierten und geschlossenen Fragebogen. Sollten nicht alle für die Erhebung notwendigen Zielgruppen vom Panelanbieter bereitgestellt werden können, können sich im Fragebogen auch Filter- und Gabelfragen befinden, die eine weitere Segmentierung der Befragten ermöglichen. Nach Abschluss der Umfrage werden die Panelisten zur Website des Anbieters weitergeleitet. Die Stichprobe wird nach den vorab festgelegten Quoten quotiert, d.h. Civey stellt sicher, dass in der Stichprobe genau so viele Personen aus den jeweiligen Bevölkerungsgruppen enthalten sind, wie zuvor festgelegt wurde (z.B. 50% Männer, 50% Frauen).

Die Markt- und Meinungsforschung ist geprägt von einer weitreichenden Methodendebatte: Der klassische, erprobte und statistisch seit Jahrzehnten umfassend erforschte Ansatz des Probability-Samplings ist in Zeiten dramatisch fallender Ausschöpfungsquoten unter ökonomischen Rechtfertigungsdruck geraten. Online Non-Probability-Sampling verspricht vor diesem Hintergrund eine den praktischen Erfordernissen der Meinungsforschung häufig besser entsprechende Alternative. In den vergangenen Jahren wurden wesentliche Schritte zur statistischen Fundierung des Ansatzes unternommen. Die von Civey genutzte Methodik baut auf diesem theoretischen Fundament auf und liefert mit Hilfe einer Kombination aus Quota-Sampling und Raking-basierter Superpopulationsmodellierung unter klar definierbaren Annahmen (insbesondere der Unabhängigkeit von Antwortverhalten und Selektion ins Panel unter Berücksichtigung der Gewichtungsvariablen) valide Ergebnisse. Diese werden durch kleinräumige Schätzungen auf Basis einer adaptierten Form von Multilevel-Regression und Poststratifizierung ergänzt.

Das komplette Whitepaper inklusive des methodologischen Anhangs und allen Quellen finden Sie hier zum Download.