Experimente mit ChatGPT – Aufgabenerstellung
KI für Fremdsprachenlehrer / innen (#2)
Das vorherige Experiment hat gezeigt, dass ChatGPT noch große Defizite bei der formalen Analyse von Texten für den Fremdsprachenunterricht, konkret für Deutsch als Fremdsprache, hat.
Wenn ChatGPT in dieser Hinsicht noch keine große Hilfe ist, kann die KI vielleicht Aufgaben aus vorgegebenen Texten erstellen. Zumindest die Standardaufgabentypen: Multiple-Choice-Aufgabe, Lückentextaufgabe, Zuordnungsaufgabe, Richtig/Falsch-Aufgabe und Sortieraufgabe. Inwieweit ChatGPT zu brauchbaren Ergebnissen führt, habe ich in verschiedenen Experimenten untersucht, die im Folgenden beschrieben und analysiert werden. In dieser Folge liegt der Fokus zunächst auf Multiple-Choice- und Lückentextaufgaben.
Lückentextaufgaben zu Konjugation von Verben
Die erste Aufgabe für ChatGPT bestand darin, auf der Grundlage eines Lesetextes (Niveau A1.1) Lückentextaufgaben zu erstellen. Dafür sollten die konjugierten Verben in Lücken umgewandelt werden. Der Prompt war sehr offen gehalten::
Erstelle auf der Grundlage des folgenden Textes Lückentextaufgaben, mit denen ein Lehrer die Konjugation der Verben abfragen kann:
Der Text ist entnommen aus Schritte international NEU, Band 1, Seite 76f.
Man kann als Dozent/in damit arbeiten. Zwei Verben, in Satz 6 und Satz 13, wurden noch vergessen und die Antworten müssten entfernt werden. Dennoch ist die Form und Geschwindigkeit, in der dieses Arbeitsblatt erstellt wurde, eine große Erleichterung für Fremdsprachenlehrer/innen, auch wenn diese kleinen Nacharbeiten notwendig sind. Daher kann hier ein Punkt für ChatGPT vergeben werden.
Lückentextaufgaben zu haben oder sein im Perfekt
Um die Stabilität von ChatGPT im Bereich Lückentexterstellung zu testen, habe ich einen weiteren Versuch mit einem Text gemacht, der größtenteils im Perfekt geschrieben ist.
Der gleiche Prompt war dafür ungeeignet. Die KI erkannte zwar die Verben in der 2. Position, also die Formen von „haben“ und „sein“, aber in Klammern waren jeweils die Infinitive der Partizipien angegeben. Diese mussten aber nicht ergänzt werden (vgl. Link oben).
Dort _____ Uschi einige Sommer lang als Sennerin gearbeitet. (arbeiten)
Antwort: hat
Als Reaktion darauf habe ich zunächst versucht, ChatGPT anzuweisen, nur die Formen „haben“ und „sein“ als Lücken darzustellen.
Erstelle auf der Grundlage des folgenden Textes Lückentextaufgaben, mit denen ein Lehrer die Formen von „haben“ und „sein“ der Sätze im Perfekt abfragen kann. Die Formen von „haben“ und „sein“ müssen also als Lücken dargestellt werden:
Das Ergebnis (gleicher Link wie oben) ist vergleichbar mit dem vorigen Arbeitsblatt: Mit einigen manuellen Korrekturen kann es verwendet werden. Hier sind drei Beispielsätze:
6. Das Leben auf der Alm _____ sehr einfach. (sein)
Antwort: war
7. Und genau das _____ ihr so gut gefallen: Dort oben hatte sie ihre Ruhe. (haben)
Antwort: hat
8. Uschi _____ schon viele Reisen gemacht. (haben)
Antwort: hat
Die KI erkennt also selbstständig auch die konjugierten Formen von „sein“ und „haben“.
Unter dem obigen Link finden Sie auch meinen Versuch, mit einem Prompt in englischer Sprache ein besseres Ergebnis zu erzielen (vgl. dazu diesen Podcast). Leider war das Ergebnis weitaus katastrophaler.
Lückentextaufgaben zu Partizipien
Der nächste Versuch gilt den Partizipien des Textes. Der Text bleibt gleich, nur der Prompt wird verändert:
Übernimm die Rolle eines Lehrers für Deutsch als Fremdsprache. Erstelle Lückentextaufgaben, mit denen dieser Lehrer die Partizipien von Sätzen im Perfekt abfragen kann, auf der Grundlage des folgenden Textes:
An den Lösungen, die ChatGPT im Anschluss an den Text mitliefert, sieht man bereits, dass die KI offensichtlich nicht „weiß“, was Partizipien sind.
- still
- gearbeitet
- gegangen
- gelebt
- gemacht
- gefallen
- gemacht
- gesehen
- werden
- leben
- wie
- mit
- gefilmt
- super
Auch nach dem Hinweis, dass der Lückentext teilweise falsche Angaben enthält, und einigen weiteren Versuchen konnte ChatGPT nicht dazu gebracht werden, ein fehlerfreies Arbeitsblatt zu generieren. Insbesondere besteht die KI darauf, dass „still“ und „super“ als Partizipien zu betrachten sind.
Das vollständige Ergebnis ist hier verfügbar. In diesem Fall ist es wahrscheinlich effektiver, das Arbeitsblatt mit der eigenen Intelligenz zu erstellen.
ChatGPT kennt nur das, was zuvor durch Texte in das lernende System eingespeist wurde. Offensichtlich gehören dazu noch nicht ausreichend Informationen über die deutsche Grammatik, so dass die Algorithmen die Wortarten noch nicht sicher erkennen können.
Texterkennung bei PDF-Dateien
Zunächst lassen wir den Text eines Screenshots (Schritte international NEU, Band 2, Seite 153), der als PDF gespeichert wurde, von ChatGPT korrigieren und anzeigen. Die Vorlage ist voll von merkwürdigen Zeichen und eigentlich unverständlichen Textfetzen ohne korrekte Zeichensetzung und ohne Lücken zwischen vielen Wörtern. Wenn man diese Vorlage mit dem wunderbaren Ergebnis vergleicht, kann man die Unterstützung durch die KI gar nicht hoch genug einschätzen. Auf diesem Qualitätsniveau würde ich mir auch die anderen Ergebnisse der KI wünschen.
Der Vorher-nachher-Vergleich zeigt anschaulich, wie aus einem fast unverständlichen Text ein fehlerfreier Text wird: Das zeigt sehr eindrucksvoll, zu welchen Leistungen eine KI fähig ist:
Formal fokussierte Multiple-Choice-Aufgaben
Multiple-Choice-Aufgaben können sowohl inhaltliches Verständnis als auch formales Wissen abfragen. Letzteres ist sicherlich leichter. Deshalb beginnen wir mit den formalen Aufgaben.
Arbeite als Dozent für Deutsch als Fremdsprache: Stelle in dem folgenden Text zentrale Substantive als Lücken da. Gib hinter jeder Lücke 3 Wörter zur Auswahl an: Das richtige Wort und 2 plausible falsche Wörter. Das Sprachniveau ist A, also Anfänger. Daher dürfen die plausiblen, aber falschen Wörter nicht zu schwierig sein.
Der Text wird zunächst als Ganzes mit den Lücken angezeigt. Darunter werden die Lücken noch einmal mit einem kurzen Kontext und drei plausiblen Wörtern zur Auswahl angezeigt. Das ist im Hinblick auf das Aufgabendesign völlig in Ordnung. (Hinweis: In dem Text gibt es einen Tippfehler: Statt #Romantik-Ausflug: Nachdem Ausflug … muss es natürlich heißen: #Romantik-Ausflug: Nach dem Ausflug ….)
Die Aufgabe bestand darin, „zentrale Substantive“ als Lücken darzustellen. ChatGPT entschied sich für viermal Schloss, außerdem Ausflug, Landschaft, Getränk. Als Didaktiker würde man das sicher so nicht machen. Man würde wahrscheinlich auch Übernachtung, Berge, Ausflug, Hotel dazunehmen.
Ein weiterer Versuch zu den Präpositionen des Textes ist erfolgreicher, wenn auch – wie immer – nicht fehlerfrei. Der Prompt lautet:
Übernimm die Rolle eines Lehrers für Deutsch als Fremdsprache. Erstelle Multiple-Choice-Aufgaben, um die Kenntnis der Präpositionen im folgenden Text zu überprüfen.
Drei Sätze aus dem Ergebnis des Prompts sollen hier noch einmal als Beispiel dienen:
Aufgabe 1: Wählen Sie die richtige Präposition aus.
Schloss Hohenschwangau
Hier hat König Ludwig II. _______ als Kind gelebt.
a) über
b) vor
c) als
Aufgabe 2: Wählen Sie die richtige Präposition aus.
Schloss Neuschwanstein
Es ist das Traumschloss _______ König Ludwig II., ein Märchenschloss.
a) von
b) bei
c) für
Aufgabe 3: Wählen Sie die richtige Präposition aus.
Unsere bayerischen Berge: Einmal kommen und sie sehen _______ nie wieder vergessen!
a) und
b) oder
c) oder
Wie immer gilt der Grundsatz: Vertraue nicht der KI!
Bei Aufgabe 1 wurde die Lösung im Text belassen, bei Aufgabe 2 gibt es kein Problem, aber bei Aufgabe 3 wurde eine Konjunktion als Präposition klassifiziert.
Im Großen und Ganzen kann das Aufgabenblatt aber nach einer Überarbeitung verwendet werden. Der Aufwand für die Überarbeitung hält sich wahrscheinlich in Grenzen, so dass man sagen kann, dass die KI in diesem Fall eine Arbeitserleichterung darstellt.
Inhaltlich fokussierte Multiple-Choice-Aufgaben
Inhaltsbezogene Aufgaben überprüfen das Verständnis der Bedeutung eines Textes. Auch wenn Lerner nicht jedes grammatikalische Detail und jedes Wort verstehen, können sie doch den Inhalt eines Textes erfassen. Das soll mit diesen Aufgaben überprüft werden.
Für den Test habe ich einen längeren Text über Bräuche zu Ostern und Weihnachten ausgewählt. Der Text stammt aus Schritte international NEU, Band 2, 173, ist also für das Niveau A1 gedacht. Der Text lautet:
So feiern wir in D-A-CH:
Wir sind beide nicht religiös. Auf Ostern freuen wir uns aber jedes Jahr, denn für uns ist Ostern ein Fest voller Optimismus: Der Winter geht zu Ende, der Frühling kommt, in der Sonne ist es schon richtig warm und die Tage sind nicht mehr so kurz. Ben und ich machen am Ostersonntag immer ein Osterfrühstück mit bunten Ostereiern. Vorher verstecke ich ein Geschenk für Ben und Ben versteckt ein Geschenk für mich. Danach muss jeder sein Geschenk suchen. Der andere darf ihm dabei mit Tipps helfen. Das ist total lustig. Mittags gehen wir zu Bens Eltern. Dort gibt es Lammbraten. Lecker!
Lisa und Ben, Zürich
In Österreich feiern wir vom 24. bis zum 26. Dezember Weihnachten. Am 24. ist der Heilige Abend, am 25. der Christtag und am 26. der Stefanitag. Am Heiligen Abend schmücke ich mit den Kindern den Christbaum. Um 17 Uhr kommen meine Eltern und wir essen zusammen. Bei uns gibt es jedes Jahr Bratwürste mit Sauerkraut und Brot. Um 18 Uhr gehen Oma und Opa mit den Kindern kurz spazieren. Ich lege die Geschenke unter den Baum und zünde die Kerzen an. Dann kommen die anderen zurück, wir wünschen uns „Frohe Weihnachten!“, singen Weihnachtslieder und packen die Geschenke aus.
Romana, Linz
Am 6. Dezember kommt der Nikolaus zu uns in die Schule. Sein Mantel ist rot, sein Bart ist weiß und er hat einen Sack und ein Buch. In dem Buch steht alles drin, was wir im letzten Jahr gemacht haben. Das liest der Nikolaus vor und dann bekommt jeder Schokolade, einen Apfel und Nüsse. Bei mir zu Hause kommt der Nikolaus schon vorher, aber nachts, wenn ich schlafe. Am 5. Dezember stelle ich abends meine Schuhe vor die Haustür und am nächsten Morgen sind dann Süßigkeiten drin. Ich glaube aber, das macht der Papa.
Laura, Nürnberg
Der Prompt für ChatGPT lautet:
Du bist ein Lehrer für Deutsch als Fremdsprache. Mache für den Text Multiple-Choice-Aufgaben, mit denen ein Lehrer überprüfen kann, ob der Text inhaltlich verstanden wurde. Das Niveau ist A1.
Das Ergebnis sind fünf Fragen zu den Texten:
Multiple-Choice-Aufgaben zum Text:
1. Was feiern Lisa und Ben jedes Jahr?
a) Ostern
b) Weihnachten
c) Nikolaus
2. Was machen Lisa und Ben am Ostersonntag?
a) Sie gehen zu Bens Eltern.
b) Sie suchen Ostereier.
c) Sie schmücken den Christbaum.
3. Was gibt es am Heiligen Abend bei Romana zu essen?
a) Bratwürste mit Sauerkraut und Brot
b) Lammbraten
c) Schokolade, Äpfel und Nüsse
4. Wann kommt der Nikolaus zu Laura?
a) Am 6. Dezember
b) Am 24. Dezember
c) Am 5. Dezember
5. Wo stellt Laura ihre Schuhe vor die Haustür?
a) Am Nikolaustag
b) Am Heiligen Abend
c) Am Weihnachtstag
Diese Multiple-Choice-Aufgaben könnten in einem Arbeitsblatt verwendet werden. Allerdings entspricht die Kreativität und Qualität der Aufgaben nicht dem Standard, der in Lehrwerken für Deutsch als Fremdsprache deutscher Verlage zu finden ist. Ich wage die Vermutung, dass die Aufgabe in dieser Form nicht in das Buch, aus dem der Originaltext entnommen wurde, Einzug gehalten hätte:
Insgesamt sind die Fragen nicht sehr kreativ. Es gibt jeweils eine Frage und drei kurze Aussagen, aus denen eine richtige Antwort ausgewählt werden kann. Das ist es, was ChatGPT unter einer Multiple-Choice-Aufgabe versteht. Die Fragen und Antworten werden mechanisch aus den Texten entnommen.
Offensichtlich gehören z.B. Multiple-Choice-Aufgaben mit mehreren richtigen Antworten nicht zum Repertoire von ChatGPT. Ebenso wenig kreativere Aufgaben, die ein tieferes inhaltliches Verständnis des Textes erfordern würden. Also eine Aufgabe wie:
Warum freuen sich Lisa und Ben auf das Osterfest?
a) Weil die Tage kurz sind.
b) Weil Ben ein Osterfrühstück mit Ostereiern macht.
c) Weil es Frühling wird.
d) Weil Ostern lustig ist.
Diese Distraktoren enthalten inhaltliche Umformulierungen, die man nur machen kann, wenn man den Inhalt versteht. Das ist bei ChatGPT nicht der Fall: ChatGPT weiß nicht, was es tut. Solche inhaltlichen Umformulierungen übersteigen derzeit offenbar die Möglichkeiten von ChatGPT.
Eine weitere Fragemöglichkeit im Rahmen einer Multiple-Choice-Aufgabe wäre auch folgende Form:
Was machen Lisa und Ben an Ostern? Wählen Sie die richtige Reihenfolge.
a) Sie suchen Geschenke. → Sie machen ein Osterfrühstück mit bunten Ostereiern. → Sie essen Lammbraten bei Bens Eltern.
b) Sie machen ein Osterfrühstück mit bunten Ostereiern. → Sie suchen Geschenke. → Sie essen Lammbraten bei Bens Eltern.
c) Sie verstecken Geschenke. → Sie machen ein Osterfrühstück. → Sie suchen Geschenke. → Sie gehen zu Bens Eltern.
Es scheint, dass die Algorithmen von ChatGPT noch nicht auf diese Art von satzübergreifenden Formulierungen trainiert sind. Daher bleiben die Aufgaben von ChatGPT in sehr mechanischen Strukturen verhaftet.
Fazit
Es ist noch ein weiter Weg bis die KI als Lehrbuchautor agieren kann. Aber ChatGPT kann eine Hilfe sein, wenn es um relativ mechanistische Aufgaben geht, z.B. Lückentexte für eine bestimmte Wortart auf einer vorgegebenen Textgrundlage zu erstellen. Dennoch: Auch hier sollte man der KI nicht trauen und das Ergebnis sehr kritisch redigieren.
Für weitergehende, kreative und von der mechanischen Form abweichende Aufgaben ist ChatGPT derzeit noch nicht geeignet. Die Erstellung von Aufgabenblättern wird wohl noch einige Zeit in den Händen der Lehrkräfte verbleiben.
