|
“Lass uns reden”-Plattform
Polarisierende Online-Debatten haben sich im digitalen Zeitalter eher zur Regel als zur Ausnahme entwickelt. Mit unserer experimentellen Plattform „Lass uns reden“ (entwickelt in Zusammenarbeit mit CDLX Berlin) haben wir versucht, zusätzliche Anreize für Teilnehmende in Online-Diskussionen zu schaffen um sich auf demokratisches Zuhören einzulassen. Zu diesem Zweck führten wir in unserem Experiment eine Reihe von zuhörorientierten Reaktionsbuttons ein, die verschiedene Aspekte des Zuhörens signalisieren, beispielsweise Dankbarkeit, Respekt, anhaltende Meinungsverschiedenheit, das Gefühl, gehört zu werden, und Neugier.
In einem weiteren Schritt trainierten wir ChatGPT, ein Large Language Model (LLM) um als zuhörorientierter Moderationsbot zu fungieren. In unseren experimentellen Online-Diskussionen generierte ChatGPT-4 Moderationsinterventionen basierend auf unserem siebenseitigen Moderationsleitfaden. Die Aufgabe des LLMs bestand darin, einzugreifen, sobald eines der Merkmale schlechten Zuhörens erkennbar wurde: wenn die Diskussion vom Thema abschweifte, ins Stocken geriet, zu angespannt wurde oder ein Mangel an inhaltlichem Engagement, Perspektivenübernahme oder Wechselseitigkeit sichtbar wurde.
Anschließend führten wir 40 halbstündige Online-Diskussionen durch, bei denen wir vier unterschiedliche Szenarien gegenüberstellten: 10 Gruppen erhielten lediglich die zuhörorientierten Reaktionsbuttons, jedoch ohne zuhörorientierte Moderation; 10 Gruppen bekamen zuhörorientierten Reaktionsbuttons in Kombination mit menschlicher Moderation; 10 Gruppen wurden mit zuhörorientierten Reaktionsbuttons und LLM-generierte Moderation ausgestattet; und 10 Kontrollgruppen hatten keinen Zugang zu diesen Funktionen und Interventionen. Eine grundlegende Moderation, welche illegale Inhalte, Hasskommentare und Ähnliches ohne schriftlichen Eingriff entfernte, war in allen Gruppen gewährleistet. Insgesamt verfassten 760 Dikussionsteilnehmende 4.466 Kommentare und interagierten 5.183 Mal mit den zuhörorientierten Buttons.
In diesen Experimenten zeigte sich, dass das Vorhandensein der zuhörorientierten Reaktionsbuttons allein das in einer Diskussion gezeigte Zuhören nicht signifikant verbesserte. Sowohl die menschliche als auch die LLM-generierte Diskussionsmoderation erhöhte jedoch den Anteil der Kommentare mit Elementen des Zuhörens von etwa einem Fünftel auf mehr als ein Viertel aller Beiträge.
Die menschliche und die LLM-generierte Diskussionsmoderation erwiesen sich als gleichermaßen effektiv, um demokratisches Zuhören in den Kommentaren zu fördern. Beide Moderationsarten führten zudem zu sehr ähnlichen Wahrnehmungen der Gesamtqualität der Diskussion. Die Teilnehmenden in beiden Gruppen stimmten gleichermaßen darin überein, dass sie (a) ihre eigenen Meinungen frei äußern konnten, (b) gehört und verstanden wurden, (c) die Diskussionen ihnen halfen, einander zuzuhören, und (d) ein respektvoller Umgang miteinander stattfand. Dennoch zeigten sich die Teilnehmenden in den von Menschen moderierten Gruppen etwas zufriedener mit der Moderation als jene, die eine KI-Moderation erlebten.
Zusammenfassend kann festgehalten werden, dass unser Experiment gezeigt hat, wie eine interaktive Diskussionsmoderation das demokratische Zuhören in Online-Diskussionen fördern kann. KI-generierte Moderation erwies sich als ebenso effektiv wie menschliche Moderation, sowohl bei der objektiven Verbesserung des Zuhörverhaltens als auch bei der subjektiven Wahrnehmung der Diskussionsqualität. Allerdings bewerteten die Teilnehmenden die KI-generierten Moderationsinterventionen als etwas weniger angemessen und hilfreich im Vergleich zu den Interventionen unseres Teams aus menschlichen Moderatoren.
Eine KI-gestützte, zuhörorientierte Diskussionsmoderation, wie wir sie in diesem Projekt entwickelt haben, ist ein vielversprechender Ansatz für die Moderation von Online-Diskussionen – sei es auf Websites von Nachrichtenmedien, in sozialen Medien oder in speziell eingerichteten Diskussionsräumen, die von zivilgesellschaftlichen Organisationen oder Unternehmen initiiert werden. Um das volle Potenzial des demokratischen Zuhörens auszuschöpfen, sind jedoch weitere gezielte Forschungsarbeiten erforderlich, um KI-Anwendungen zu entwickeln, die von den Teilnehmenden als natürlich empfunden werden. Unser Projekt legt hierfür einen wichtigen Grundstein.
