2020 Fiscal Year Research-status Report
外国語産出技能の育成支援のための画像・言語処理に関する研究
| Project/Area Number |
19K12119
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
南條 浩輝 京都大学, 学術情報メディアセンター, 准教授 (50388162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
壇辻 正剛 京都大学, 学術情報メディアセンター, 教授 (10188469)
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 外国語学習 / 外国語の産出 / 画像キャプショニング |
|---|
| Outline of Annual Research Achievements |
画像処理技術と音声・言語情報処理技術とを用いた外国語能力の育成支援の研究を推進している。ユーザが画像を見て産出した外国語作文や発話を自動評価するための画像・言語の統合的情報処理に関する基盤技術、およびそれを用いた外国語産出能力の育成のための基盤形成を目指して研究を行っている。2020年度は、具体的には以下を推進した。
- ユーザ産出データ（作文）の収集と疑似データの生成：作文データの収集を推進した。さらに、学習者がどのような産出（作文）誤りを起こすのかの分析を行った。次に、作文データを収集するコストが高いため、テキストに対して自動的に産出誤りを生成し付与することで疑似的な学習者作文とする方法を検討し、研究を推進した。作文自動評価のためのデータを大規模に自動的に生成する試みであり、意義深い。
- 作文の採点：誤りを含んだ作文を採点するための採点方法について研究を推進した。具体的には、作文が画像を説明しているかを自動で判定する方法について研究を行い、画像キャプショニングなどに使われる画像からの特徴量と、作文（テキスト）の特徴量（BERT特徴量）を用いた評価に取り組み、知見を得た。作文採点システムの基礎的な技術であり、WEBを用いた作文収集システムと接続することで、オンライン上での作文自習システムの構築につながり、意義深い。
- 情報収集、成果報告：研究課題に関連する研究等の調査、成果報告を推進した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
感染症の影響により、予定していた研究環境の利用、情報収集などが一部困難になったため。
ただし、オンラインで実施できた部分もあり、進展はみられている。
|
| Strategy for Future Research Activity |
・ユーザ産出データ（作文・発話）のオンライン収集の実施とコーパス作成
・採点のための画像からの多様な作文の生成とそれを用いたユーザ産出データの採点・フィードバックのための研究の推進
・実際の外国語学習環境構築の推進
|
| Causes of Carryover |
新型コロナウイルス感染症の影響により研究会等がオンライン開催となったため、旅費の支出が予定よりも少なくなった。大規模実験のための研究設備の納入が次年度となったため、物品費の支出が予定よりも少なくなった。
web等を通じたデータ収集、オンライン開催での成果報告に積極的に取り組む予定である。
|
