Experimente mit ChatGPT – Präpositionen und trennbare Verben

KI für Fremdsprachenlehrer / innen (#1)

Fremdsprachenlehrer/innen sind häufig bemüht, im Fremdsprachenunterricht aktuelle Texte zu verwenden. Da diese in der Regel noch noch nicht didaktisiert sind, ist es notwendig, neben dem Inhalt auch die Grammatik und den Wortschatz der Texte zu analysieren. Es wäre wünschenswert, wenn diese mühsame Arbeit in wenigen Sekunden von KI-Systemen erledigt werden könnte. Ich habe mit ChatGPT Experimente zu Präpositionen und trennbare Verben gemacht, um die Brauchbarkeit von ChatGPT für den Fremdsprachenunterricht zu testen. Erfahren Sie in diesem Text mehr darüber, wie ChatGPT im Fremdsprachenunterricht eingesetzt werden kann, um Präpositionen und trennbare Verben zu analysieren.

Um die Leistungsfähigkeit der KI, konkret von ChatGPT in der kostenlosen Version (ChatGPT May 24 Version), zu testen, habe ich Experimente für zwei Szenarien durchgeführt., die ich im Folgenden beschreibe. Zum einen wurde die KI „gebeten“, Präpositionen aus einem vorgegebenen Korpus von Sätzen zu extrahieren. Zum anderen wurde untersucht, wie ChatGPT Fremdsprachenlehrer/innen bei der Identifikation von trennbaren Verben unterstützen könnte.

Experimente mit ChatGPT – Auflistung von Präpositionen

Die erste Aufgabe für ChatGPT bestand darin, die Präpositionen der folgenden neun Sätze aufzulisten. In dieser Darstellung sind die Präpositionen fett markiert. Für ChatGPT wurde diese Markierung weggelassen:

1. Die Katze sitzt auf dem Tisch.
2. Das Bild hängt an der Wand.
3. Die Tasche steht zwischen den Stühlen.
4. Während des Essens sehe ich fern.
5. Der Zug fährt um 12 Uhr ab.
6. Ich bleibe zu Hause wegen des Regens.
7. Der Porsche fuhr mit hoher Geschwindigkeit den Fluss entlang.
8. Am Dienstag fällt das Training aus.
9. Die Kinder stiegen in den falschen Zug ein.

Absichtlich eingebaute Tücken sind gelb markiert. Untersucht werden sollte, ob die KI erkennt, dass es sich um Präfixe von trennbaren Verben handelt, oder ob diese Präfixe als Präpositionen klassifiziert werden.

… und wie kann mir ChatGPT bei der Aufgabenerstellung helfen?

Englischsprachige Prompts

Da ChatGPT ein Produkt US-amerikanischer Firmen ist, wird gelegentlich postuliert, dass englischsprachige Prompts zu besseren Ergebnissen führen. Prompts sind die Texte, mit denen man ChatGPT anweist, etwas zu tun. Zum Beispiel bemerkt Markus Walsch im Podcast „Dreimal besser – KI: So können Dir ChatGPT und Co. im Job helfen“ des Bayerischen Rundfunks (ab Minute 3:30):

„Dieses Ding (= ChatGPT, O.B.) ist auf Englisch trainiert, dieses Sprachmodell. Und deswegen ist es auf Deutsch nur annähernd so gut, wenn überhaupt.“

Aus diesem Grund wurde auch gleichzeitig untersucht, ob ein Prompt in englischer Sprache vielleicht zu einem anderen, eventuell sogar besseren, Ergebnis führt als der gleiche Prompt in deutscher Sprache. 

In Deutsch lautete der Prompt:

Mache eine Liste aus den Präpositionen der folgenden Sätze.

In Englisch:

Make a list of the prepositions in the following German sentences.

Es folgten danach die neun Sätze von oben, als Ganzes in Anführungszeichen gesetzt.

Ergebnisse der Experimente mit Präpositionen

In der folgenden Tabelle sind die Ergebnisse gegenübergestellt. Mit Klicks auf die Buttons am Ende der Tabelle gelangt man direkt zu dem originalen Ergebnis in ChatGPT.

Der Vergleich zeigt, dass ein Prompt in englischer Sprache hier tatsächlich zu einem besseren Ergebnis führt als ein Prompt in deutscher Sprache:

Experimente mit ChatGPT – Identifikation von trennbaren Verben

Bei anderen Gelegenheiten konnte ich feststellen, dass ChatGPT offensichtliche Probleme bei der Unterscheidung von trennbaren und untrennbaren Verben hat. Daher habe ich auch zu diesem Thema einen Test mit Prompts in verschiedenen Sprachen durchgeführt.

Das Korpus für die Analyse bestand aus den folgenden zehn Sätzen. Zur besseren Übersicht sind wieder die trennbaren Verben fett markiert:

1. Ich steige in München in den Zug ein und in Wien steige ich wieder aus.
2. Sag mal, wann ziehst du eigentlich um?
3. Komm herein, drinnen ist es warm.
4. Kommen Sie ruhig herein, die Sitzung hat noch nicht begonnen.
5. Edison hat die Glühbirne erfunden.
6. Kannst du bitte für mich die Bücher zurückbringen.
7. Dresden wurde im Zweiten Weltkrieg in großen Teilen zerstört.
8. Kannst du mir helfen, die Kisten auszupacken.
9. Hört mir bitte endlich zu!
10. Entschuldigung, wann fährt diese Straßenbahn los?

Das Korpus wurde unter bestimmten Gesichtspunkten zusammengestellt. Die Begründungen für die Auswahl und Kontextualisierung der Verben sind:

1. In einem Satz erscheint das gleiche Verb mit zwei verschiedenen Vorsilben. Erkennt die KI beide Verben?
2. Eine relativ einfache Konstellation: Das trennbare Verb steht in der zweiten Person Singular Präsens. Die Erwartung ist, dass die KI hier keine Probleme haben sollte, das trennbare Verb zu erkennen.
3. Es handelt es sich um einen Imperativ in der Du-Form. Das Präfix steht ohne weitere Satzteile direkt hinter dem Verbstamm.
4. Das gleiche Verb wie vorher, aber jetzt im Imperativ der Sie-Form.
5. In diesem Satz gibt es kein trennbares Verb. 
6. Das trennbare Verb wird hier nicht getrennt, sondern steht am Ende des Satzes im Infinitiv.
7. Es gibt kein trennbares Verb.
8. Das trennbare Verb steht im Infinitiv mit zu.
9. Das trennbares Verb im Imperativ der Ihr-Form.
10. Das trennbare Verb steht hier in einem Fragesatz.

Die beiden Promps in Deutsch und Englisch waren:

Wenn es in den 10 Sätzen ein trennbares Verb gibt, markiere alle Teile des trennbaren Verbs. 

If there is a separable verb in the 10 German sentences, mark all parts of the separable verb.

Das Ergebnis in einer Gegenüberstellung:

Bei den trennbaren Verben ist das Ergebnis sowohl beim englischen als auch beim deutschen Prompt fehlerhaft. Sieht man von den Unterschieden zwischen der behaupteten und der realisierten Formatierung in der englischen Version einmal ab, gibt es in der deutschen Version einen Fehler weniger:

Bei einem zweiten Versuch, bei dem explizit angegeben wurde, dass es sich um „10 deutsche Sätze“ (10 German sentences) handelt, ist das von ChatGPT präsentierte Ergebnis in Teilen völlig falsch:

Sure! Here are the parts of the separable verbs in the given German sentences:

1. Ich steige in München ein und in Wien steige ich wieder aus.
2. Sag mal, wann ziehst du eigentlich um?
3. Komm herein, drinnen ist es warm.
4. Kommen Sie ruhig herein, die Sitzung hat noch nicht begonnen.
5. Edison hat die Glühbirne erfunden.
6. Kannst du bitte für mich die Bücher zurückbringen.
7. Dresden wurde im Zweiten Weltkrieg in großen Teilen zerstört.
8. Kannst du mir helfen, die Kisten auszupacken.
9. Hört mir bitte endlich zu!
10. Entschuldigung, wann fährt diese Straßenbahn los?

In each sentence, the separable verb is indicated in bold.

Leider gibt es keinen direkten Link zu dem Ergebnis, da ChatGPT Links zu verschiedenen Versionen nicht gestattet. Das vollständige Ergebnis kann hier nur als Screenshot eingesehen werden.

Screenshot

Zwar wurden Teile des Texts diesmal tatsächlich fett wiedergegeben, aber das System war damit offensichtlich überfordert. Das Ergebnis hat fast nichts mehr mit der Aufgabe zu tun, die ChatGPT gestellt wurde. Es ist so fehlerhaft, dass es den Anschein hat, dass ChatGPT einige Wörter zufällig fett markiert hat.

Um vielleicht die Ursache für diese Fehler nachvollziehen zu können, wurde ChatGPT im nächsten Versuch nach dem obigen englischen Prompt zusätzlich aufgefordert, eine Begründung für die Entscheidung anzugeben:

If there is a separable verb in the 10 sentences, mark all parts of the separable verb. After each sentence, give a reason why the marked words are separable verbs.

Das Ergebnis war akzeptabel, jedoch nicht perfekt. Um diesen Text nicht zu lang zu machen, kürze ich das Ergebnis. Den gesamten Text können Sie, aus den oben genannten Gründen, nur als Screenshot einsehen.

Screenshot

Jetzt hat das System nahezu alle trennbaren Verben erkannt. Nur die trennbaren Verben in den letzten beiden Sätzen wurden noch ignoriert.  Nach einem Hinweis, dass es auch in den Sätzen 9 und 10 trennbare Verben geben könnte, wurden auch diese beiden trennbaren Verben erkannt und wie die anderen korrekt dargestellt. Letzteres hilft einem Deutschlerner aber nicht weiter, denn wenn man die Antwort schon weiß, braucht man keine KI zu befragen. Als Lerner muss ich dem Unterrichtenden oder ggf. der KI vertrauen können. Das ist hier nicht der Fall.

Da eine Begründung der Entscheidung zu einem besseren Ergebnis geführt hat, habe ich den gleichen Versuch in der deutschen Fassung unternommen. Ich hatte erwartet, dass ChatGPT „zerstören“ als untrennbar eerkennt. Dies war jedoch nicht der Fall.

ChatGPT Experimente mit trennbaren Verben: „zerstören“ wird als trennbares Verb klassifiziert

Screenshot

Erst nach der Nachfrage „Ist ‚zerstören‘ ein trennbares Verb?“ wurde der Fehler erkannt:

Entschuldigung, das war mein Fehler. „Zerstören“ ist kein trennbares Verb. Es handelt sich um ein untrennbares Verb, da es kein trennbares Präfix enthält. Danke für die Korrektur.

Analyse des Korpus mit japanischem Prompt

Das gleiche Korpus wurde abschließend noch einmal mit einem japanischen Prompt analysiert:

10個のドイツ語の文の中に分離可能な動詞がある場合、分離可能な動詞のすべての部分に印をつける。各文の後に、マークした単語が分離可能な動詞である理由を述べなさい。

Das Ergebnis entspricht ungefähr dem Resultat des deutschen Prompts: Alle trennbaren und nicht trennbaren Verben wurden korrekt erkannt. Die Verben wurden herausgestellt und mit einer Erklärung versehen. Das komplette Ergebnis kann man unter diesem Link ansehen: 

Bei Satz 3 und 4 gab es eine Überraschung. Das System hat das Verb hereinkommen selbstständig in hineinkommen geändert. Danach wurde es korrekt als trennbares Verb identifiziert.

3. Komm herein, drinnen ist es warm.
分離可能な動詞: hineinkommen
「hineinkommen」は「hinein」（in）という前置詞を伴っており、動詞の「kommen」と分離しています。

In Satz 4 wurde „hereinkommen“ nicht geändert, sondern, was ich überhaupt nicht bedacht hatte, auch das Verb beginnen analysiert und fälschlicherweise als trennbares Verb erklärt: be- sei Teil des Verbs nnen.

4. Kommen Sie ruhig herein, die Sitzung hat noch nicht begonnen.
分離可能な動詞: hereinkommen, beginnen
「hereinkommen」は「herein」（in）という前置詞を伴っており、動詞の「kommen」と分離しています。「beginnen」は「be」（ver-）という接頭辞を伴っており、動詞の「nnen」と分離しています。

Zusammenfassung

Wir können nach diesen Experimenten mit ChatGPT zu Präpositionen und trennbaren Verben festhalten, dass man sich bei grammatikalischen Fragen nicht auf ChatGPT verlassen kann, sondern alle Ergebnisse und Aussagen kritisch mit dem eigenen Wissen überprüfen muss, denn teilweise können die Resultate nur als absurd bezeichnet werden.

Diese Beurteilung ist möglich für ein/e kompetente/r Sprecher/in, jedoch nicht für jemanden der sich Hilfe von dem System erhofft, weil sie/er die Fremdsprache noch nicht beherrscht.

Außerdem scheint es hilfreich zu sein, als Fremdsprachenlehrer/in einen Prompt in verschiedenen Sprachen zu formulieren. Die Ergebnisse können sehr unterschiedlich sein. Vielleicht führt eine andere Sprache zu einem akzeptableren Ergebnis. Die Aussage, dass englische Prompts bessere Ergebnisse liefern, ist in dieser Absolutheit jedoch nicht zutreffend. Zumindest bei der Analyse deutschsprachiger Texte sollte man skeptisch bleiben und auch deutsche Prompts ausprobieren.

Eine Verbesserung des Ergebnisses kann auch erzielt werden, wenn ChatGPT angewiesen wird, Entscheidungen zu begründen. Jedoch auch in diesem Fall muss das Resultat von kompetenten Sprechern überprüft werden.

Obwohl ChatGPT noch keine zuverlässige Hilfe bei der Textanalyse für den Fremdsprachenunterricht ist, kann es dennoch als Ausgangspunkt für eine grammatische Analyse dienen, die jedoch abschließend von einer kompetenten Person verifiziert werden muss.

Sie möchten selbstständig mehr Deutsch üben?

Klicken Sie auf einen der Buttons, um zu Aufgaben für das gewählte Niveau zu wechseln.