UNTERRICHT: Prompts und die Gefahr der Confirmation Bias

Es ist ja nicht so, als würde es nicht tausende Beiträge geben, bei denen es ums gute Promting geht. Also darum, mit welchen Befehlen man ChatGPT und Co. die besten Ergebnisse abringt. Davon abgesehen, dass es unübersichtlich wird und jeder von jedem abzuschreiben scheint, erscheint es in Bezug auf Lernende spannender, sich anzuschauen, wie Prompts tatsächlich formuliert werden und was dies über die momentane Nutzung aussagt. Eine Notiz. 

Anlass

In einer 10. Klasse habe ich eine Klassenarbeit geschrieben, in der die Schülerinnen und Schüler das Ergebnis eines Prompts für die eigene Texterörterung nutzen durften. Welcher der Prompts, die jeder Schüler und jede Schülerin erstellt hat, nachdem sie den Text gelesen hatte, diskutierten sie. Die genaue Überlegungen, die Durchführung und die Ergebnisse finden sich hier. Wie man gute Prompts schreibt, wurde im Unterricht thematisiert und geübt. Dies geschah mithilfe des WWW-Prinzips, das weniger meine Erfindung ist, sondern als Merkhilfe dazu führt, so meine Hoffnung, dass man sich an die wichtigsten Aspekte von (Mega-)Prompts erinnert.

Hintergrund

Auf dieser Grundlage konnte ich also sehen, welche Prompts die Schülerinnen und Schülern vorgeschlagen haben. Dabei gab es, wie zu erwarten war, sehr unterschiedliche Ergebnisse. Einige Prompts waren schlicht zu vage und das Prinzip war nicht berücksichtigt. Andere waren sehr detailliert und sinnvoll einsetzbar. Denn, auch das hatten wir geübt, es ist ja immer die Frage, wofür genau man die Ergebnisse braucht. Um einen Hintergrund zu geben: Ganz zu Beginn des Promptings bestanden jene aus Formulierungen wie: "Mach meine Argumente besser." Oder: "Steigere das Niveau." Oder: "Überprüfe die Rechtschreibung." Nun ist es nicht so, dass man damit nicht eine Verbesserung erzeugen konnte. Aber die Enttäuschung der Schüler:innen brachte uns auf die Frage, ob die eher mäßigen Verbesserungen nun daran lagen, dass die KI nicht gut genug ist. Oder vielmehr an unseren Fragen. Auf dieser Grundlage war klar, warum man auch das gute Prompting üben muss.

Ergebnisse

Spannend fand ich weniger die Unterschiede zwischen jenen Prompts, bei denen die Schülerinnen und Schüler das Prinzip gelernt hatten und jenen, die es nicht taten, sondern dort, wo die Methode und die Formulierung bekannt war.

Es ging um jenen Ausgangstext.

Überaus häufig war nämlich folgende Formulierung Teil des Prompts: "Ich bin Schüler und du bist Medienexperte. Wir besprechen einen Text, in dem es um TikTok und die Auswirkung geht. Gib Argumente und Studien, die belegen, dass TikTok schädliche Auswirkungen hat."

Überlegung

Unter Confirmation Bias versteht man die Tendenz von Menschen, Informationen, die ihre bestehenden Überzeugungen oder Annahmen unterstützen, stärker wahrzunehmen, zu suchen und zu bewerten, während sie Informationen, die diesen Überzeugungen widersprechen, ignorieren oder abwerten. Dieses Phänomenen kennen wir alle.

Nun ist dies kein Vorwurf, sondern eine Beobachtung: Die Schülerinnen und Schüler erstellten Prompts, bei denen schon klar war, was genau belegt werden soll. Will sagen: Der Prompt lautete nicht so: "Ich bin Schüler und du bist Medienexperte. Wir besprechen einen Text, in dem es um TikTok und die Auswirkung geht. Gib Argumente und Studien, die thematisieren, ob TikTok schädliche Auswirkungen hat."

Ein solcher Prompt wäre für eine Auseinandersetzung mit einer Kolumne, also einem Meinungstext deutlich sinnvoller gewesen. Denn je nachdem, wie man argumentieren möchte, hätte man Möglichkeiten, in beide Richtungen zu gehen.

Fazit

Es zeigt sich, dass fernab davon, welche Art von Prompts genutzt werden, Schule die Aufgabe haben wird hat, den Schülerinnen und Schüler Möglichkeiten zu geben, Recherche und Prompting auf eine Art und Weise zu üben, die die eigenen Vorannahmen reflektiert. Das hört sich komplex an, ist aber möglich. Dieser kleine Beitrag soll ein Hinweis an alle sein, die sich jetzt schon - oder in Zukunft - mit der Materie befassen.