Umfrageabbruch vermeiden – So halten Teilnehmer durch!
Die meisten Internetnutzer kennen die Situation, dass sie – z. B. auf einer Nachrichtenseite – eine laufende Studie zu einem spannenden Thema finden und die Umfragen beginnen. Insbesondere bei langen, komplexen Befragungen lässt die Motivation jedoch schnell nach, sodass man dazu neigt, die Teilnahme abzubrechen. Da das zu Problemen in der Auswertung der Ergebnisse führt, wenn sich die Umfrageabbrecher in ihren demographischen Merkmalen systematisch von den Teilnehmern unterscheiden und repräsentative Rückschlüsse auf die Grundgesamtheit also deutlich verkompliziert werden, haben wir uns mit dem Thema in den letzten Wochen intensiv beschäftigt. Mit der Hochschule Rhein-Waal haben wir eine Studie durchgeführt, aus der ich euch die wichtigsten Forschungsergebnisse der jüngeren Vergangenheit zum Thema Survey-Breakoff nachfolgend vorstelle.
Was ist Survey-Breakoff?
Zunächst muss man sich die konkreten Eigenschaften von Umfrageabbrüchen („Survey-Breakoff“) veranschaulichen. Eine abgebrochene Teilnahme an einer Umfrage ist nicht als einfache Nichtantwort zu verstehen. Ein Abbruch einer Umfrage kann diverse Gründe haben, er impliziert aber im Unterschied zu einer Nichtantwort eine gewisse grundsätzliche Bereitschaft, die Fragen zu beantworten. Insofern lassen sich auch einige Faktoren beeinflussen, die für die Wahrscheinlichkeit des Umfrageabbruchs von Bedeutung sind.
Mach es deinen Teilnehmern nicht unnötig schwer!
Die beiden übergeordneten Gründe für Umfrageabbrüche sind zum einen Aspekte des Survey-Designs und zum anderen Eigenschaften bestimmter Teilnehmergruppen. Beide Faktoren beeinflussen die Wahrscheinlichkeit des Umfrageabbruchs hängen zudem voneinander ab.
Beim Erstellen von Umfragen ist es daher wichtig, sich klarzumachen, dass auch die Teilnahme an der Umfrage Arbeit ist. Sie kostet Zeit und mal mehr, mal weniger kognitive Ressourcen. Empfindet ein Teilnehmer die Umfrage als kompliziert oder anstrengend, wird er die Beantwortung eher abbrechen. Auf der Seite des Umfragen-Designs werden insbesondere offene Fragen oder Matrix-Fragen als komplex wahrgenommen. Auch Abfragen von persönlichen Daten können jedoch als zu anstrengend wahrgenommen werden und zu Abbrüchen führen. So haben zum Beispiel Forschungsergebnisse (Al-Baghal & Lynn, 2015) gezeigt, dass die Antwortverweigerung bei Einkommensfragen nochmal erhöht ist, wenn es sich um schwankende oder schwer erfassbare Einkommenskategorien wie etwa Zinsen und Dividendenauszahlungen handelt. Hier müsste der Befragte gegebenenfalls sogar in Unterlagen nachschauen und eigene Berechnungen zu seinem Einkommen anstellen – eine große Hürde!
Das Umfrage-Design sollte entsprechend möglichst niedrige Hürden zur Beantwortung der Fragen haben. Wenn sich die Meinung ohne komplizierte Matrix-Fragen oder offene Fragen abbilden lässt, etwa mittels Single-Choice Fragen oder Bewertungsskalen, dann sollten die Fragen entsprechend formuliert werden. In jedem Fall gilt es, Fragen knapp aber präzise zu formulieren, um Verständnisprobleme zu vermeiden.
Vermittle Verständnis für deine Umfrage!
Grundsätzlich gilt, dass manche Menschen eher zum Umfrageabbruch neigen als andere. Zwar kann man davon ausgehen, dass jüngere und besser ausgebildete Menschen im Durchschnitt weniger kognitive Schwierigkeiten bei der Beantwortung der Fragen haben, doch für politische Meinungsumfragen konnte festgestellt werden, dass die abbrechenden Teilnehmer tendenziell jünger, weniger gebildet und weniger politisch interessiert sind (Steinbrecher et al., 2015). Wenn man mit seiner Umfrage allerdings repräsentative Aussagen über die Bevölkerung (oder eine andere Grundgesamtheit) treffen möchte, dann müssen die sozio-demographischen Charakteristika der Teilnehmer ein gutes Abbild der Bevölkerung darstellen. Es empfiehlt sich daher, Methoden einzusetzen, die auch zum Umfrageabbruch neigende Teilnehmer dazu bringen, bis zum Ende der Umfrage mitzumachen oder sie nach einem Abbruch die Beantwortung nachträglich fortzuführen (Steinbrecher et al., 2015).
Die Umfrageteilnehmer sollten zudem soweit wie möglich in den Sinn der Befragung eingeweiht werden und insbesondere bei abbruchs-kritischen Fragen eine kurze Erklärung erhalten, warum die Angaben für die Auswertung von Wert sind (Al-Baghal & Lynn, 2015). Auch in der Einladung zur Teilnahme an einer Umfrage lässt sich durch eine motivierende Ansprache der Teilnehmer bereits das Abbruchsrisiko reduzieren (Pedersen & Nielsen, 2014).
Literatur:
Al-Baghal, T., P. Lynn: Using Motivational Statements in Web-Instrument Design to Reduce Item-Missing Rates in a Mixed-Mode Context” (2015) Public Opinion Quarterly (79) 2
Pedersen, M., C. Nielsen: “Improving Survey Response Rates in Online Panels: Effects of Low-Cost Incentives and Cost-Free Text Appeal Interventions” (2014) Social Science Computer Review (1) 15
Steinbrecher, M., J. Roßmann, J. E. Blumenstiel: “Why Do Respondents Break Off Web Surveys and Does It Matter? Results From Four Follow-Up Surveys” (2015) International Journal of Public Opinion Research (27) 2