ChatGPTの実験 - タスク作成
外国語教師のためのAI (#2)
について 前回の実験 は、ChatGPTが外国語教育、特に外国語としてのドイツ語教育のためのテキストの形式的分析において、まだ大きな欠陥があることを示している。
ChatGPTがこの点でまだあまり役に立たないなら、AIは定義済みのテキストからタスクを作成できるかもしれません。少なくとも標準的なタスクの種類はあります：多肢選択タスク、クローズタスク、マッチングタスク、真偽タスク、並べ替えタスク。私は様々な実験でChatGPTがどの程度有用な結果をもたらすかを調査しました。このエピソードでは、まず多肢選択問題とクローズ問題に焦点を当てます。
クローズ・タスク 動詞の活用
ChatGPTの最初のタスクは、リーディングテキスト（Niveau A1.1）に基づいたクローズタスクを作成することでした。そのために、活用動詞をギャップに変換する必要がありました。プロンプトは非常にオープンにされました：
次の文章を基に、教師が動詞の活用をテストするために使用できるクローズ練習問題を作成しなさい：
本文は以下より引用 ステップスインターナショナルNEW』第1巻76fページ.
講師として働くことができる。第6文と第13文の2つの動詞が忘れられており、解答を削除しなければならないだろう。とはいえ、このワークシートが作成された形式とスピードは、たとえこのような小さな手直しが必要だとしても、外国語教師にとっては大きな安心材料である。よって、ここにChatGPTの1点を与えることができる。
クローズ・タスク 持つ または であります 完了形で
ChatGPTのクローズ・テキスト作成の安定性をテストするために、ほとんど完了形で書かれたテキストで別のテストをしました。
同じプロンプトはこれには適していなかった。AIは第2ポジションの動詞、つまり "haben "と "sein "の形を認識したが、分詞の不定詞が括弧で示されていた。しかし、これらを追加する必要はなかった（上記リンク参照）。
ウスキは何年かの夏、酪農家としてそこで働いた。仕事
答え：ある
そこで、まずChatGPTに "have "と "be "だけをギャップとして表示するように指示してみた。
次の文章をもとに、教師が完了形の文の中の "haben "と "sein "の形をテストするために使えるクローズ練習問題を作りなさい。したがって、"haben "と "sein "の形は空所として示さなければならない：
結果（上と同じリンク）は、前のワークシートと同等である：いくつかの手動修正で使用できる。ここに3つの例文がある：
6. 山の牧草地での生活は＿＿＿とても質素だった。(彼の)
答え：だった
7.そしてそれこそが、彼女がとても気に入っていたことだった：彼女はそこに平穏と静寂があった。(ある)
答え：ある
8 ウスチ_____はたくさん旅行した。(持っている)
答え：ある
そのため、AIは「to be」と「to have」の活用形を自動的に認識する。
上記のリンクの下には、英語のプロンプトでより良い結果を出そうとする私の試みもある（参照）。 このポッドキャスト).残念ながら、結果ははるかに悲惨なものだった。
分詞の練習問題
次の試みは、テキストの分詞に対するものである。テキストはそのままで、プロンプトだけが変わる：
外国語としてのドイツ語の教師になってみましょう。次のテキストをもとに、この教師が完了形の文の過去分詞をテストするために使えるクローズ練習問題を作ってください：
ChatGPTが文末に提示した解答は、AIが分詞の意味を明らかに「知らない」ことを示している。
- まだ
- 作業済み
- いない
- 生きている
- 作られた
- お願い
- 作られた
- 見た
- になる
- 生きる
- ような
- と
- 撮影
- スーパー
ChatGPTは、クローズテキストに間違った情報が含まれていることを知らされた後でも、さらに何度か試みた後でも、エラーのないワークシートを作成するように説得することができなかった。特に、AIは "still "と "super "は分詞であると主張している。
全結果はこちら.この場合、自分の知性でワークシートを作成する方が効果的だろう。
ChatGPTは、テキストを通して学習システムに入力されたものだけを認識します。明らかに、これにはまだドイツ語の文法に関する十分な情報が含まれていないため、アルゴリズムはまだ確実に単語の種類を認識することができません。
PDFファイルのテキスト認識
まず、スクリーンショットのテキスト(ステップスインターナショナルNEW』2巻153ページ)を修正し、ChatGPTで表示することができます。このテンプレートは奇妙な文字でいっぱいで、正しい句読点もなく、多くの単語間のギャップもない、実際には理解できないテキスト断片です。このテンプレートを 素晴らしい結果 AIのサポートは過大評価できない。他のAIの結果もこのレベルのクオリティで見てみたい。
ビフォー・アフターの比較は、ほとんど理解できないテキストが、いかに間違いのないテキストになるかを明確に示している：これは、AIの能力を非常に印象的に示している：
形式重視の多肢選択式課題
多肢選択問題は、内容の理解と形式的知識の両方をテストすることができる。後者の方が簡単なのは確かだ。だからこそ、私たちは形式的な課題から始めるのです。
外国語としてのドイツ語の講師としての仕事：次の文章の中で、中心的な名詞を空所として置きなさい。各ギャップの後に3つの単語を選びなさい：正しい単語と、もっともらしい間違った単語2つ。語学レベルはA、つまり初心者です。したがって、もっともらしいが間違った単語は、あまり難しくないものでなければならない。
テキストはまず、ギャップとともに全体として表示される。その下に、簡単な文脈と、3つのもっともらしい単語から選択できるように、ギャップが再び表示される。これはタスクのデザインに関しては全く問題ない。(ヒント本文中にタイプミスがあります： 1TP12ロマンチックな小旅行の代わりに：小旅行の後に ...もちろん、こう読むべきだ： 1TP12ロマンチックな小旅行：小旅行を終えて ....)
課題は「中心名詞」を隙間として表現することだった。ChatGPTは4回を選んだ。 キャッスルまた エクスカーション、風景、飲み物.ディダクティシャンとして、そのようなやり方はしないだろう。また、おそらく 宿泊、山、エクスカーション、ホテル を追加する。
本文中の前置詞に関する別の試みは、いつものようにミスがないわけではないが、より成功している。プロンプトはこうだ：
外国語としてのドイツ語の先生になってみましょう。次のテキストにある前置詞の知識を試すために、多肢選択式のタスクを作成してみましょう。
ここでは、プロンプトの結果から3つの文章を例として挙げる：
課題1：正しい前置詞を選びなさい。
ホーエンシュヴァンガウ城
ルートヴィヒ2世は子供の頃ここに住んでいた。は子供の頃ここに住んでいた。
a) 経由
b) 前
c)
課題2：正しい前置詞を選びなさい。
ノイシュヴァンシュタイン城
ルートヴィヒ2世の夢の城、おとぎ話の城である。
a) から
b)
c)
課題3：正しい前置詞を選びなさい。
バイエルンの山々：一度は来て見てください＿＿＿二度と忘れることはないでしょう！
a)および
b) または
c) または
いつものことだが、AIを信用してはいけない！
タスク1では解答がテキストに残され、タスク2では問題はなかったが、タスク3では接続詞が前置詞に分類された。
しかし、全体としては、タスクシートは修正後に使用することができる。修正に必要な労力は限られているだろうから、この場合はAIが仕事を楽にしてくれるともいえる。
内容重視の多肢選択式課題
内容関連タスクは、テキストの意味の理解をチェックする。学習者が文法の細部や単語をすべて理解していなくても、テキストの内容を把握することはできます。これらのタスクはこれをテストするためにデザインされています。
テストでは、イースターとクリスマスの習慣についての長い文章を選んだ。テキストは Schritte international NEU, Volume 2, 173、 はNiveau A1用である。本文にはこうある：
これがD-A-CHでの祝い方だ：
私たちはどちらも信心深くはない。というのも、私たちにとってイースターは楽観主義に満ちたお祝いだからだ。冬が終わり、春が訪れ、日差しはすでに本当に暖かく、日はもはやそれほど短くない。イースターの日曜日には、ベンと私はいつもカラフルなイースターエッグと一緒にイースターブレックファストを食べる。その前に、私はベンへのプレゼントを隠し、ベンは私へのプレゼントを隠す。その後、みんなでプレゼントを探します。相手がヒントをくれることもある。とても楽しい。お昼はベンの実家に行きます。そこでラムのローストを食べる。おいしい！
リサとベン、チューリッヒ
オーストリアでは12月24日から26日までクリスマスを祝う。イブは24日、クリスマスは25日、聖シュテファン祭は26日だ。イブの夜は、子供たちと一緒にクリスマスツリーを飾ります。午後5時に両親がやってきて、一緒に食事をする。毎年、ザワークラウト入りのソーセージとパンを食べる。午後6時になると、おばあちゃんとおじいちゃんが子どもたちを連れて散歩に出かける。私はプレゼントをツリーの下に置き、キャンドルに火をつける。それから他の人たちが戻ってきて、「メリー・クリスマス！」と言ってクリスマスキャロルを歌い、プレゼントの包装を解く。
ロマーナ、リンツ
12月6日、ファーザー・クリスマスが学校にやってくる。コートは赤、ひげは白で、袋と本を持っています。本には去年やったことが全部書いてある。サンタがそれを読み上げると、みんなにチョコレートとリンゴとナッツが配られる。私の家では、ファーザー・クリスマスは事前にやってくるが、私が寝ている夜にやってくる。12月5日の夜、玄関の外に靴を置くと、翌朝には中にお菓子が入っている。でも、それはお父さんがすることだと思う。
ラウラ、ニュルンベルク
ChatGPTのプロンプトは次のとおりです：
あなたは外国語としてのドイツ語の教師です。テキストの内容が理解できたかどうかを教師がチェックできるような、テキストの多肢選択式の課題を作ってください。NiveauはA1です。
その結果、テキストに関する5つの質問が生まれた：
本文に関する選択問題：
1.リサとベンは毎年何を祝っている？
a) イースター
b) クリスマス
c) 聖ニコラス
2. リサとベンはイースターの日曜日に何をしていますか？
a) ベンの両親のところへ行く。
b) イースターエッグを探している。
c) クリスマスツリーを飾る。
3.ロマーナはクリスマス・イブの夕食に何を食べる？
a) ソーセージ、ザワークラウト、パン添え
b) 子羊のロースト
c) チョコレート、リンゴ、ナッツ
4 聖ニコラスはいつローラにやって来るの？
a) 12月6日
b) 12月24日
c) 12月5日
5 ローラは玄関の外で靴をどこに置く？
a) 聖ニコラスの日に
b) クリスマス・イブに
c) クリスマス当日
これらの多肢選択式課題は、ワークシートに使うことができる。しかし、タスクの創造性と質は、ドイツの出版社の外国語としてのドイツ語の教科書に見られる水準には達していない。このような形式の課題は、原文が引用された本には掲載されなかっただろう：
全体的に、問題はあまりクリエイティブではない。1つの質問と3つの短い文章があり、そこから正解を選ぶことができます。これがChatGPTが理解する多肢選択問題です。設問と解答はテキストから機械的に出題されます。
例えば、複数の正解がある多肢選択問題は、ChatGPTのレパートリーではありません。また、テキストの内容をより深く理解する必要があるような、よりクリエイティブなタスクもありません。ですから、次のようなタスクがあります：
リサとベンはなぜイースターを楽しみにしているのか？
a) 日が短いから。
b) ベンがイースターエッグを使ってイースターブレックファストを作るから。
c) 春だから。
d) イースターは楽しいから。
これらのディストラクターには、コンテンツが次のようなものである場合にのみ行われる、コンテンツの改作が含まれている。 理解する.これはChatGPTの場合ではありません：ChatGPTは何をしているのか分かりません。このような内容の再定式化は、現在のChatGPTの能力を明らかに超えています。
別の多肢選択問題としては、次のような形も考えられる：
リサとベンはイースターに何をしている？正しい順番を選んでください。
a) プレゼントを探す。→ カラフルなイースターエッグでイースターの朝食を作る。→ ベンの実家で子羊のローストを食べる。
b) 色とりどりのイースターエッグでイースターの朝食を作る。→ プレゼントを探す。→ ベンの実家で子羊のローストを食べる。
c) プレゼントを隠す。→ イースターの朝食を作る。→ プレゼントを探す→ ベンの両親の家に行く。
ChatGPTのアルゴリズムはこのような文の横断的な定式化にはまだ訓練されていないようです。その結果、ChatGPTのタスクは非常に機械的な構造から抜け出せないままです。
結論
AIが教科書の著者として機能するまでには、まだ長い道のりがある。しかし、ChatGPTは比較的機械的なタスク、例えば、与えられたテキストベースで特定の単語タイプのクローズ・テキストを作成するようなタスクに関しては助けになる。とはいえ、ここでもAIを信頼せず、非常に批判的に結果を編集する必要があります。
ChatGPTは、機械的な形式から逸脱した、より高度で創造的なタスクにはまだ適していません。タスクシートの作成は今後しばらくは教師の手に委ねられるでしょう。
