2021 Fiscal Year Annual Research Report
外国語産出技能の育成支援のための画像・言語処理に関する研究
| Project/Area Number |
19K12119
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
南條 浩輝 京都大学, 学術情報メディアセンター, 准教授 (50388162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
壇辻 正剛 京都橘大学, 国際英語学部, 教授 (10188469)
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 外国語学習 / 外国語の産出 / 画像キャプショニング |
|---|
| Outline of Annual Research Achievements |
画像処理技術と音声・言語情報処理技術とを用いた外国語能力の育成支援の研究を推進した。ユーザが画像を見て産出した外国語作文や発話を自動評価するための画像・言語の統合的情報処理に関する基盤技術、およびそれを用いた外国語産出能力の育成のための基盤形成を目指して研究を行った。2021年度は、具体的には以下を推進した。
- ユーザ産出データ（作文）の収集と評価基盤データの整備：高校生から作文を集めた。さらに、WEB上の作文収集システムからも作文を収集した。これらに対して、2種類の添削を行った。一つ目は、誤り箇所を訂正したデータ、二つ目は、さらに画像の情報を追加したデータである。それぞれ、誤り訂正、学習者の産出能力向上のために重要なデータである。さらに、別途入手した画像に対する作文にも同様のアノテーションを行い、評価基盤データの整備を行った。
- 誤りの分析: 収集した作文と訂正結果を分析し、画像描写作文における誤りを分析した。100文を抽出して分析したところ、訂正が必要な文は82、内64文は画像がないと正しく訂正できないことを明らかにした。また、その誤り要因の分類も行い、何が課題であるかを明確化できた。実際に画像を利用しない文法訂正モデルではほとんど全てを訂正できないことを示し、提案課題の必要性と重要性を示した。
- 作文の採点：画像と作文の関連度判定に取り組んだ。また、自動訂正にも取り組んだ。関連度判定では、模範解答を利用できる場合や問題画像の利用法も検討した。画像ごとの採点モデル、問題セット（複数画像）ごとの採点モデル、どんな問題（画像）でも採点できる汎用モデルを検討し、知見を得た。自動訂正では、収集したデータから訂正モデルを学習し、本課題のベースラインを示すことができた。
- 情報収集、成果報告：研究課題に関連する研究等の調査、成果報告を推進した。
|
