Civey & Uni Duisburg-Essen: ChatGPT-Studie

ChatGPT-Studie: Viele finden Fehler

• Gemeinsame Kurzstudie der Universität Duisburg-Essen mit Civey: ChatGPT wird aktuell hauptsächlich für private Zwecke genutzt.
• Die Mehrheit überprüft die Antworten des Chat-Bots auf Richtigkeit.
• 59 Prozent haben schon einmal Fehler in den KI-Antworten gefunden.
• Nur eine Minderheit hat Angst um den eigenen Arbeitsplatz.

Dank ChatGPT ist Künstliche Intelligenz in aller Munde, doch was denken die Menschen in Deutschland wirklich über den innovativen Chat-Bot? Eins ist klar: Die meisten Nutzerinnen und Nutzer sind mit der Qualität der Ergebnisse zufrieden und vertrauen diesen. Gleichzeitig entdeckten über die Hälfte der ChatGPT-Erfahrenen Fehler in den Antworten. Das zeigt eine neue Kurzstudie von Prof. Tobias Kollmann der Universität Duisburg-Essen und dem Marktforschungsunternehmen Civey.

Civey hat im Rahmen des Forschungsprojekts mit der Universität Duisburg-Essen u.a. über 5.000 Bundesbürger:innen und rund 1.500 Nutzerinnen und Nutzer von ChatGPT zu ihren Erfahrungen befragt. Dabei zeigt sich: Rund ein Viertel der Deutschen ab 18 (23%) steht der Möglichkeit, dass Menschen mit KI-Anwendungen kommunizieren können, grundsätzlich positiv gegenüber (41% negativ, 35% sind unentschieden). Bereits 17 Prozent der Bundesbürgerinnen und -bürger haben vor diesem Hintergrund schon einmal ChatGPT genutzt. Dieses Sprachmodell, das von OpenAI mit Daten aus dem Internet bis 2021 trainiert wurde, ist in der Lage, auf natürliche Weise mit Menschen in Textform zu kommunizieren und eine Vielzahl von Aufgaben auszuführen, in dem es Antworten auf verschiedene Fragen gibt.

Wer ChatGPT schon einmal genutzt hat, der nimmt das Tool durchaus intensiver in Anspruch. Fünf Prozent der 1.500 befragten Nutzerinnen und Nutzer verwenden es täglich, immerhin 23 Prozent wöchentlich und weitere 21 Prozent monatlich. Die Unterschiede, ob es sich dabei um Erwerbstätige handelt oder nicht, sind minimal.

Und viele Nutzer:innen sind mit den Antworten der KI auf ihre Fragen zufrieden: 44 Prozent der befragten Personen, die ChatGPT schon einmal verwendet haben, bewerten die Qualität der Antworten mit gut oder sogar sehr gut. Demgegenüber fanden rund 11 Prozent, dass die Qualität eher schlecht bzw. sehr schlecht war.

Wir erleben gerade, wie wichtig es ist, dass Menschen selbst Zukunftstechnologien und deren Nutzen für sich erleben: Künstliche Intelligenz ist an sich kein neues Thema – aber mit ChatGPT wird ein für viele abstrakter Begriff plötzlich konkret.

Antworten von ChatGPT – kein blindes Vertrauen

Vier von zehn Befragten (41%) haben Bedenken, ob die Inhalte der qualitativ gut formulierten Antworten auch tatsächlich richtig sind. Entsprechend überprüfen rund drei Viertel (73%) der Nutzer:innen die Antworten der KI. Und das offenbar zurecht, wie Prof. Kollmann feststellt: „Deutlich über die Hälfte der Befragten (59%) hat schon einmal Fehler in den Antworten von ChatGPT gefunden, so dass von einer automatischen Übernahme der Inhalte und Aussagen dringend abgeraten werden muss. Ob Mensch oder KI, es scheint auch hier der alte Spruch ‚Vertrauen ist gut, Kontrolle ist besser!‘ zu gelten.“

Die Qualität der Antworten hat noch nichts mit der Richtigkeit der Inhalte zu tun.

Privater Alltag schlägt berufliche Anwendung

Wie die Befragung der 1.500 Nutzerinnen und Nutzer zeigt, wird das KI-Tool im Moment hauptsächlich für Fragen aus dem privaten Alltag genutzt (66%). 36 Prozent der Befragten nutzen es im beruflichen Umfeld (Mehrfachnennungen waren möglich).

Noch läuft die Experimentierphase. Viele Arbeitnehmer wissen schlicht nicht, ob und wie sie Künstliche Intelligenz für ihre Aufgaben nutzen können. Arbeitgeber sollten diese Unsicherheit aufgreifen und gemeinsam schauen, welche Bedeutung KI für die eigene Tätigkeit hat.

In den Schulen und Hochschulen ist ChatGPT mit 23% an Nutzerschaft auch angekommen. Bei den Themen dominieren Fragen zu Technologie und Innovation, gefolgt von gesellschaftlichen, politischen und alltäglichen Inhalten, zu denen eine Antwort von ChatGPT eingeholt wird. Herkömmliche Suchmaschinen wie Google bleiben aber trotz ChatGPT für die Mehrheit der Nutzenden (51%) die wesentliche Anlaufstelle, um nach Inhalten und Antworten im Internet zu suchen.

Angst um den Arbeitsplatz: noch überschaubar

Besonders der Einfluss von ChatGPT auf das berufliche Umfeld wird gesellschaftlich stark diskutiert. Auf die Frage „Gehen Sie davon aus, dass die Anwendung ChatGPT in Zukunft verstärkt in Ihrem Berufsfeld eingesetzt wird?“ antwortet die Mehrheit der ChatGPT-Nutzer:innen (56%) mit Ja, während 31 Prozent nicht davon ausgehen. Immerhin 22 Prozent und damit mehr als jeder fünfte Befragte glauben sogar, dass sie in Zukunft von einer KI wie ChatGPT konkrete Arbeitsanweisungen bekommen könnten.

Das zeigt die Sorge, dass die KI aus Sicht vieler Arbeitnehmer in Zukunft nicht nur zur Unterstützung von Arbeitsprozessen durch, sondern auch zur Steuerung und Organisation von Menschen eingesetzt werden könnte.

Mehr als ein Fünftel der Erwerbstätigen in Deutschland sieht zudem in Künstlicher Intelligenz eine Gefahr für den eigenen Arbeitsplatz (21%). „Das ist aber nur die Ruhe vor dem Sturm, denn schon heute ist absehbar, dass die Künstliche Intelligenz die Jobprofile und Aufgaben in allen Branchen, Bereichen und Hierarchien beeinflussen wird. Der Schritt zu einem Ersatz der menschlichen Arbeitskraft zugunsten einer KI ist nur noch kurz“, bewertet der Digital-Experte von der Universität Duisburg-Essen und ergänzt: „Jedes Unternehmen wird in Zukunft nicht nur die besten Mitarbeiter, sondern auch die besten KI-Algorithmen einstellen müssen.“ In diesem Zusammenhang wurde an seinem Lehrstuhl mit dem Thema „Artificial Leadership“ auch ein neues Forschungsfeld aufgesetzt.

Methodische Hinweise für Journalistinnen und Journalisten: Die Studie wurde von Civey im Auftrag von Prof. Tobias Kollmann (Universität Duisburg-Essen) durchgeführt. Dazu wurden in Februar und März 2023 online vier Zielgruppen befragt: >5.000 Bundesbürger:innen, >1.500 Nutzerinnen und Nutzer von ChatGPT, >1.000 Erwerbstätige sowie > 500 Erwerbstätige, die schon einmal ChatGPT genutzt haben. Aufgrund des Befragungszeitraums beziehen sich die Antworten auf die Entwicklungsstufe 3/3.5 des Chat-Bots. Den genauen Befragungszeitraum und statistischen Fehler entnehmen Sie bitte den jeweiligen Erhebungen. Die Studie wird mit einer Befragung zur Entwicklungsstufe 4 fortgesetzt. Die Ergebnisse sind aufgrund von Quotierungen und Gewichtungen repräsentativ unter Berücksichtigung des statistischen Fehlers von 2,5-8,4 Prozentpunkten (Gesamtergebnis).

Über Civey: Civey steht für Citizen Survey. Das 2015 gegründete Unternehmen hat die Markt- und Meinungsforschung grundlegend verändert: Als Technologieunternehmen liefert Civey repräsentative Momentaufnahmen und Monitorings, die Unternehmen, unserer Gesellschaft und jedem Einzelnen dabei helfen, Märkte, Trends und Positionen besser zu verstehen. Das Unternehmen erhebt und analysiert Daten fortlaufend in Echtzeit – und das an der Schnittstelle zwischen klassischer Statistik und moderner Künstlicher Intelligenz. Kunden profitieren von Schnelligkeit, Verlässlichkeit und Datentiefe im größten Open-Access-Panel Deutschlands.