Studies of image and natural language processing for developing productive skills in second language learning

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K12119
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Kyoto University
• Principal Investigator: NANJO Hiroaki 京都大学, 学術情報メディアセンター, 准教授 (50388162)
• Co-Investigator(Kenkyū-buntansha): 壇辻 正剛 京都橘大学, 国際英語学部, 教授 (10188469) ; 森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 外国語学習 / マルチモーダル情報処理 / 画像キャプショニング / 外国語の産出

Outline of Final Research Achievements

Fundamental image and natural language processing technologies for developing productive skills in second language learning have been investigated. Specifically, on image description task, in which learners produce compositions for a given image, to realize automatic assessment system of learner's compositions, we have investigated: 1) construction of a dataset for image description task, which consists of a set of image, compositions by learners, and correction annotations, 2) true or false detection, classification, and correction for learners compositions. Significant knowledge in these fields has been obtained.

Free Research Field

知能情報処理

Academic Significance and Societal Importance of the Research Achievements

外国語の自己学習のためのICT教材やシステムは重要である。置かれている状況や見ているものについて述べる能力（言語産出能力）は、外国語によるコミュニケーションにとって重要であるが、発話や作文の自由度の高さから自動評価が困難であった。絵についての作文を自動評価する本研究の試みとその成果は、教師や外国人を必要としない言語産出能力の自己学習の実現にとって重要であり、意義深い。