ChatGPTの実験 - 前置詞と分離可能動詞

外国語教師のためのAI (#1)

外国語教師は、外国語の授業で時事的なテキストを使おうとすることが多い。これらは一般にまだ教則化されていないため、テキストの内容だけでなく文法や語彙も分析する必要がある。この面倒な作業をAIシステムがほんの数秒でやってくれるようになれば望ましい。 私はChatGPTの外国語教育への有用性を検証するため、前置詞と分離可能動詞についてChatGPTを使った実験を行いました。ChatGPTが外国語教育でどのように前置詞や分離可能動詞の分析に使えるかについては、このテキストをお読みください。

AI、特に無料版のChatGPTのパフォーマンスを最大化するために(ChatGPT 5月24日バージョン)で、以下に述べる2つのシナリオについて実験を行った。第一に、与えられた文のコーパスから前置詞を抽出するようAIに「依頼」した。次に、ChatGPTが分離可能な動詞を識別する際に、外国語教師をどのようにサポートできるかを調べた。

ChatGPTの実験 - 前置詞のリストアップ

ChatGPTの最初の課題は、次の9つの文の前置詞をリストアップすることでした。このプレゼンテーションでは、前置詞は太字で示されている。ChatGPTではこの表示は省略した：

1. 猫は座っている オン テーブル
2. 写真は吊るされている オン 壁
3. バッグは立っている 間 椅子
4. 一方 夕食中にテレビを見る。
5. 列車は走る で 12時 より.
6. 私は滞在する への ホーム というのも 雨の。
7. ポルシェは走った と 高速で川を行く に沿って.
8. オン 火曜日のトレーニングは中止 より.
9. 子供たちは登った。 で 間違った列車 a.

意図的な落とし穴は黄色で示されている。AIがこれらを分離可能な動詞の接頭辞だと認識しているのか、それともこれらの接頭辞が前置詞に分類されているのかを調査する必要がある。

...そして、ChatGPTはタスク作成でどのように助けてくれますか？

英語のプロンプト

ChatGPTは米国企業の製品であるため、英語のプロンプトがより良い結果につながると仮定されることがあります。プロンプトとは、ChatGPTに何かを指示するためのテキストです。 例えば、Markus Walschはポッドキャスト"3倍よくなるAI：ChatGPTと共同開発者が仕事で役立つ方法" by Bayerischer Rundfunk（3分30秒から）：

"こいつ（＝ChatGPT、O.B.）は英語で訓練されているんだ、この言語モデルは。だから、ドイツ語ではほぼ同じ程度にしかならない。"

このため、英語でのプロンプトがドイツ語での同じプロンプトとは異なる、場合によってはより良い結果につながるかどうかも調査された。 

ドイツ語のプロンプトにはこう書かれていた：

次の文の前置詞のリストを作りなさい。

英語で：

次のドイツ語の文の前置詞のリストを作りなさい。

続いて、上記の9つの文章が、全体として逆カンマで括られている。

前置詞の実験結果

結果は次の表で比較されています。表の最後にあるボタンをクリックすると、ChatGPTの元の結果に直接ジャンプします。

この比較から、英語のプロンプトはドイツ語のプロンプトよりも良い結果をもたらすことがわかる：

ChatGPTの実験 - 分離可能な動詞の識別

ChatGPTが分離可能な動詞と分離不可能な動詞を区別するのに問題があることに気づきました。そこで、異なる言語のプロンプトでこのトピックのテストを行いました。

分析のためのコーパスは以下の10文からなる。見やすくするため、分離可能な動詞は太字で示した：

1. I 上昇 ミュンヘンの列車にて a ウィーンで 上昇 もう一度 より.
2. 教えてくれ、いつ ドロー そうですか で?
3. おいで で中は暖かい。
4. おいで あなたは落ち着いている で会議はまだ始まっていない。
5. エジソンは電球を発明した。
6. 本を探してくれる？ 持ち帰る.
7. ドレスデンは第二次世界大戦で大部分が破壊された。
8. 箱について教えてください 開梱する.
9. 聞く 最後に への!
10. すみません、いつですか？ ドライブ この路面電車 緩い?

コーパスは一定の基準に従って編集された。動詞の選択と文脈化の理由は以下の通りである：

1. 文の中で、同じ動詞が2つの異なる接頭辞を伴って現れる。AIは両方の動詞を認識できますか？
2. 比較的単純なコンステレーション：分離可能動詞は二人称単数現在形。この場合、AIは分離可能な動詞を問題なく認識できるはずです。
3. you形の命令文です。接頭辞は動詞の語幹の直後に置かれ、文の他の部分には置かれません。
4. 前と同じ動詞だが、今度はyou形の命令形。
5. この文には分離可能な動詞はない。 
6. ここでは分離可能な動詞は分離されず、不定詞で文末に立っている。
7. 分離可能な動詞はない。
8. 分離可能な動詞はzuを伴う不定詞である。
9. Ihrの命令形の分離可能動詞。
10. ここでは分離可能動詞が疑問文で使われている。

ドイツ語と英語の2つのプロンプトが出された：

10文の中に分離可能な動詞がある場合、分離可能な動詞のすべての部分に印をつける。 

ドイツ語の10文の中に分離可能な動詞がある場合、分離可能な動詞のすべての部分に印をつける。

比較の結果

分離可能な動詞の場合、英語版でもドイツ語版でも結果は正しくない。英語版で主張された書式と実現された書式の違いを除けば、ドイツ語版ではエラーが1つ少ない：

2度目の挑戦では、「ドイツ語10文」と明言された(ドイツ語10文)、ChatGPTが提示した結果は部分的に完全に間違っている：

もちろんです！以下は、与えられたドイツ語の文の中の分離可能な動詞のパートです：

1. ミュンヘンで a そしてウィーンで再び乗り込む より.
2. 教えてくれ、いつ 引く 本当に？
3. おいで 内側、内側 暖かい。
4. お気軽にお越しください。 で会議はまだ始まっていない。
5. エジソンが電球を発明 発明された.
6. 本を探してくれる？ 持ち帰る.
7. 第二次世界大戦中、ドレスデンはその大部分を占めていた。 破壊された.
8. 箱について教えてください 開梱する.
9. 最後に私の話を聞いてください への!
10. すみません、このトラムはいつ走っていますか？ 緩い?

それぞれの文において、分離可能な動詞は太字で示されている。

残念ながら、ChatGPTは異なるバージョンへのリンクを許可していないため、結果への直接リンクはありません。完全な結果はスクリーンショットとしてここでしか見ることができません。

スクリーンショット

今回、テキストの一部は実際に太字で表示されたが、システムは明らかに圧倒されていた。この結果はChatGPTが設定したタスクとはほとんど関係がない。ChatGPTがいくつかの単語をランダムに太字にしたように見えるほど欠陥がある。

このようなミスの原因を理解するために、ChatGPTは上記の英語プロンプトの後、次の試技でその判断の理由を述べるよう求められた：

10文の中に分離可能な動詞がある場合、分離可能な動詞のすべての部分に印をつける。 それぞれの文の後に、マークした単語が分離可能動詞である理由を述べなさい。

結果は納得のいくものだったが、完璧ではなかった。この文章が長くなりすぎないように、結果は省略させていただく。上記の理由から、全文はスクリーンショットでしか見ることができない。

スクリーンショット

システムはほとんどすべての分離可能な動詞を認識するようになった。最後の2文の分離可能動詞だけがまだ無視されていた。 第9文と第10文にも分離可能な動詞がありうるというヒントの後、この2つの分離可能な動詞も他のものと同様に認識され、正しく表示された。しかし、後者はドイツ語学習者の役には立たない。すでに答えがわかっているなら、AIに尋ねる必要はないからだ。学習者としては、先生やAIを信頼できなければならない。ここではそうではない。

その判断を正当化した方が良い結果につながったので、ドイツ語版でも同じ試みをした。私はChatGPTが "destroy "を不可分のものとして認識すると思っていた。しかし、そうではなかった。

ChatGPTによる分離可能動詞の実験："destroy "は分離可能動詞に分類される

スクリーンショット

destroy'は分離可能な動詞ですか？

すみません、それは私の間違いでした。「破壊する」は分離可能な動詞ではありません。分離可能な接頭辞を含まないので、分離不可能な動詞です。訂正ありがとうございます。

日本語プロンプトによるコーパスの分析

最後に、同じコーパスを日本語のプロンプトで再度分析した：

10個のドイツ語の文の中に分離可能な動詞がある場合、分離可能な動詞のすべての部分に印をつける各文の後に、マークした単語が分離可能な動詞である理由を述べなさい。

この結果は、ドイツ語のプロンプトの結果とほぼ一致する。分離可能な動詞も分離不可能な動詞もすべて正しく認識された。動詞は強調表示され、説明が添えられました。完全な結果はこのリンクで見ることができます： 

第3セットと第4セットには驚きがあった。システムには動詞 入る で独立した。 内部来る を変更した。その後、分離可能な動詞として正しく認識された。

3.どうぞ、中は暖かいですよ。
分離可能な動詞：乗る
「hineinkommen」「hinein」（in）という前置詞を伴って、動詞の「kommen」分離しています。

第4文では、"come in "は変更されていないが、私がまったく考慮していなかったのは、動詞も変更されていることだ。 スタート と分析され、分離可能な動詞として誤って説明された： ビー 動詞に属する 缶.

4.セッションはまだ始まっていませんので、静かにお入りください。
分離可能な動詞：入ってくる、始める
「herein」（in）前置詞を伴って、動詞の「kommen」分離しています。

概要

前置詞と分離可能動詞に関するChatGPTの実験の結果、ChatGPTに文法的な質問を頼ることはできないという結論に達した。

この判断は、有能な話し手には可能だが、外国語がまだ堪能でないためにシステムからの助けを期待している人にはできない。

また、外国語教師として、異なる言語でプロンプトを作成することも役に立つようだ。結果は大きく異なることがある。おそらく異なる言語の方が、より受け入れやすい結果につながるのだろう。しかし、英語のプロンプトがより良い結果を生むというのは、この絶対的な意味では真実ではない。少なくともドイツ語の文章を分析するときには、懐疑的な態度を崩さず、ドイツ語のプロンプトも試してみるべきです。

また、ChatGPTに判断の理由を述べるように指示すれば、結果を改善することができる。しかし、この場合でも、結果は有能なスピーカーによってチェックされなければならない。

ChatGPTはまだ外国語教室でテキストを分析するための信頼できるツールではありませんが、文法分析の出発点としては役立ちます。

もっとドイツ語を練習したいですか？

いずれかのボタンをクリックすると、選択したNiveauのタスクに切り替わります。