What the FAZ?

Frage FAZ: Schon Monate vor der Landtagswahl hatte sich ausweislich aller Umfrageinstitute (siehe die entsprechende Seite von wahlrecht.de) ein klarer Vorsprung der SPD auf die CDU herauskristallisiert. Mitte Februar war die SPD-Dominanz auf neun Punkte angewachsen. Nur Civey wollte zu diesem Zeitpunkt das Gegenteil gemessen haben. Anfang März sah Civey als einziges Institut die Union vor der SPD (und zwar deutlich mit sechs Punkten). Doch dann – ohne dass es einen landespolitischen Skandal oder sonst irgendeinen erkennbaren Auslöser gegeben hätte – stürzte die CDU bei Civey spektakulär ab, während die SPD rasch aufstieg. Wie erklären Sie sich diesen – exklusiv von Ihnen – gemessenen spektakulären Umschwung?

Antwort Civey: Gerne erläutern wir Ihnen die Erhebungen rund um die Saarland-Wahl und stellen Ihnen dafür auch die tagesaktuellen Daten transparent zur Verfügung:

Von “spektakulär” kann nicht die Rede sein. Im langfristigen Verlauf ist zu erkennen, dass auch Civey Monate vor der Wahl einen klaren Vorsprung für die SPD gemessen hat: Sowohl im Dezember, als auch im Januar 2022 lag die SPD mit rund 10 Prozentpunkten vor der CDU – Werte wie sie auch von allen anderen Instituten in dieser Zeit gemessen wurden. Zu einem engeren Rennen zwischen CDU und SPD kam es laut unserer Erhebung vorwiegend in der zweiten Februarhälfte 2022.

Den Umschwung als "spektakulär" zu bezeichnen, ist mit Blick auf den bei jeder Umfrage ausgewiesenen statistischen Fehler von 3,9 bis 8,9 Prozentpunkten falsch, dieser liegt auch hier noch im Rahmen der theoretischen statistischen Schwankungsbreite.

Darüber hinaus möchten wir auf die Debatten in dieser Zeit hinweisen: In die betrachtete Phase fallen die Wochen unmittelbar vor und seit Beginn des Ukraine-Kriegs, die eine hohe politische Dynamik aufwiesen. Dass Wählerinnen und Wähler in Bundesländern nicht nur eine reine landespolitische Perspektive bei Abgabe ihrer Antworten in Betracht ziehen, sondern auch die Parteien im Ganzen bewerten, ist bekannt.

Frage FAZ: Hat sich Civey womöglich sich an den just in dieser Zeit veröffentlichten Umfragewerten anderer Institute orientiert und „nachjustiert“.

Antwort Civey: Nein, diesen Vorwurf weisen wir entschieden zurück.

Frage FAZ: Auch vor der Landtagswahl in Nordrhein-Westfalen am 15. Mai 2022 kam es bei Civey über Wochen zu starken Umfrage-Ausschlägen zwischen CDU und SPD, ohne dass es dafür eine landespolitische Erklärung gegeben hätte. Wie erklären Sie diese Ausschläge?

Antwort Civey: Wie auch bei den vorherigen Fragen, bieten wir Ihnen gerne Einblicke in unsere Sonntagsfrage im Vorfeld der NRW-Landtagswahl. Hier zeigen sich mit Blick in die Daten keine “starken Umfrage-Ausschläge”.

Auch generell betonen wir gerne hier erneut, dass es bei Landtagswahlen nie allein um “landespolitische Erklärungen” geht. Gerade bei dieser Wahl, in der der übliche Ministerpräsidentenbonus noch nicht ausgeprägt war, spielen Themen und Köpfe der Bundes- oder Lokalpolitik eine Rolle bei der Wahlentscheidung.

Frage FAZ: In den Umfragen aller etablierten Institute lag die SPD in Niedersachsen schon seit vielen Monaten vor dem Wahltag mehrere Punkte vor der CDU. Die Leser einer Civey-Umfrage erfuhren anderes. Am 24.9. vermeldete der "Spiegel" in seiner Printausgabe unter Verweis auf eine Civey-Umfrage vom 22.9. nicht nur ein „enges Rennen“, sondern sah die CDU auch einen Punkt vor den Sozialdemokraten. Wie kamen diese Zahlen zustande? Gab es sich beim Datenabgriff zum 22. September womöglich technische Pannen? Waren die Daten womöglich nicht „aufbereitet“?

Antwort Civey: Gerne senden wir Ihnen auch hier den Verlauf der Sonntagsfrage für den relevanten Zeitraum vom 1. Januar bis 6. Oktober. Die Spitze der Union ist vor allem im Juni zu verzeichnen. Ansonsten zeigt sich im Verlauf ebenfalls überwiegend ein Vorsprung der SPD mit mehreren Prozentpunkten. Die Dynamik der Zeit zeigt sich übrigens auch bei den Umfragen anderer Institute auf wahlrecht.de - Infratest sah beispielsweise den Abstand der Union zur SPD am 29. September geringer an als am 22. September.

Frage FAZ: Wenige Tage später, am 6. Oktober, meldete "Spiegel-Online" unter Verweis auf Civey-Zahlen, dass nun die SPD mit 33 zu 27 Prozent vor der CDU liege. Wie erklären Sie den von Ihnen gemessenen rapiden Stimmungswandel?

Antwort Civey: Wie Sie in unserer Langfristgrafik sehen, ist der Anstieg der SPD bereits seit Mitte August zu verzeichnen gewesen – ein typisches Merkmal von Landtagswahlen, bei denen der Ministerpräsidentenbonus vor den Wahlen besonders zur Wirkung kommt. Die Bindung an Parteien nimmt ab, die Wahlbeteiligung und die Schlussmobilisierung beeinflussen das finale Ergebnis.

Frage FAZ: Spielen Umfragewerte der Konkurrenz womöglich eine Rolle bei der Gewichtung der eigenen Rohdaten oder schließen Sie einen solchen Zusammenhang aus?

Antwort Civey: Die Gewichtung der Umfragen bei Civey beruht ausschließlich auf Bevölkerungsdaten des Statistischen Bundesamtes, der Statistischen Landesämter und des Bundeswahlleiters. Aktuell gewichtet Civey nach den Variablen Alter, Geschlecht, Bevölkerungsdichte, Kaufkraft und Wahlverhalten.

Zusätzlich kommen bei unserer Small-Area-Methode zur Ermittlung regionaler Ergebnisse rund 50 Variablen der Regionalstatistik zum Einsatz.

Frage FAZ: Sind Umfrage-Ergebnisse anderer Institute womöglich eine Variable, die in die Algorithmen aufgenommen werden?

Antwort Civey: Bei der Neuentwicklung von Algorithmen oder Pre-Tests von Umfragen (zum Beispiel zum Umfrage-Wording oder Fragebogenaufbau) werden die Ergebnisse der Tests regelmäßig evaluiert. Dies ist nach wissenschaftlichen Standards unbedingt notwendig, bevor ein neuer Algorithmus oder auch neue Umfragen live gehen können.

Die Evaluation erfolgt neben den oben genannten administrativen Daten (von Statistischen Ämtern, Behörden und Verbänden) auch gegen öffentlich zugängliche wissenschaftliche Studien von renommierten Institutionen. Hier zu nennen sind das Sozioökonomische Panel des DIW, der ALLBUS oder das Eurobarometer. Deren Umfrageergebnisse werden jedoch nicht in unseren Live-Algorithmen verwendet.

Frage FAZ: Wer entscheidet, wann welcher Algorithmus über die Rohdaten geht?

Antwort Civey: Die Ermittlung der Umfrageergebnisse erfolgt durch eine festgelegte Abfolge von Algorithmen. Dazu zählt unter anderem der Algorithmus, welche Umfragen an welchen Teilnehmer ausgespielt werden, der Algorithmus zur Stichprobenziehung, der Algorithmus zur Teilnehmer-Verifizierung und der Algorithmus zur Gewichtung – um nur einige zu nennen.

Die Abfolge dieser Algorithmen erfolgt automatisiert in ihrer natürlich sinnvollen Reihenfolge. Es erfolgt kein manueller Eingriff. Dieses automatisierte Setup wird von unserem Data Science und Development Team entwickelt. Anpassungen an den Algorithmen erfolgen auf Basis wissenschaftlicher Standards und wie in jedem technischen Entwicklungsprozess erst nach der Evaluation von Neuentwicklungen.

Frage FAZ: Werden die von einem Algorithmus gewichteten Rohdaten von einem Miterbeiter von Civey oder einer der Redaktionen vor Verwendung nochmals auf Ihre Plausibilität geprüft?

Antwort Civey: Kunden haben ab Beginn der Feldzeit Zugriff auf die zum jeweiligen Zeitpunkt erhobenen Daten. Nach Abschluss der automatisierten Ergebnisberechnung führt unser Research- und Beratungs-Team bei allen Kundenaufträgen Plausibilitätskontrollen durch. Zu unserer Dienstleistung gehört es, Auftraggeber zur Aussagekraft und Interpretation der Ergebnisse zu beraten.

Frage FAZ: Welche Kosten sind "Spiegel" und "Tagesspiegel" für die Berlin-Umfragen Ihres Hauses in den sechs Monaten vor der Wahl entstanden?

Antwort Civey: Zu Konditionen und Vereinbarungen mit unseren Vertragspartnern äußern wir uns grundsätzlich nicht. Nur so viel: Selbstverständlich wird Civey für die erbrachten Dienstleistungen entsprechend honoriert.

Frage FAZ: (N)ach einer ersten Durchsicht Ihrer Darlegungen stellen sie sich in einem entscheidenden Punkt als nicht nachvollziehbar dar. Der von mir angeführte Screenshot vom 5. Februar 2023, den Sie „keiner offiziellen Veröffentlichung im Vorfeld der Berlin-Wahl“ zuordnen können, findet sich auf Seite 11 der beiliegenden Publikation. Ohne Zweifel handelt es sich um den „Tagesspiegel“, ohne Zweifel handelt sich um eine Civey-Umfrage, ohne Zweifel wurde die Validität dieser Umfrage nie in Zweifel gezogen. In der Folge wurde auf Twitter die Tagesspiegel-Umfrage vornehmlich in SPD-Kreisen ausführlich kommentiert, und der SPD-Parteivorstand legte sich unter Zuhilfenahme der in den Werten abweichenden, aber in der Tendenz die SPD auf- und die CDU absteigend sehenden Umfrage auf ein „Kopf-an-Kopf-Rennen“ fest. Ob Sie mir wohl den Widerspruch zwischen Ihrer Darlegungen und dem vorliegenden Dokument wohl erläutern könnten?

Antwort Civey: (D)a Sie in Ihrer Mail vom 14.2.2023 schrieben, dass “sich die Zahlen in der Ausgabe des Spiegel” fanden und diese nicht den im Spiegel veröffentlichen Zahlen entsprachen, war uns eine Einordnung des Screenshots nicht möglich. Somit vielen Dank für die Übersendung und Aufklärung der Quelle. Bezüglich der Daten sowie deren Einordnung hatten wir Ihnen ja bereits gestern umfassende Informationen zukommen lassen. Gerne wiederhole ich mich an dieser Stelle noch einmal: Da wir die Daten fortlaufend erheben und aktualisieren, können sich über den Tag Veränderungen ergeben.