Research on AI's reading comprehension of multimedia data for improving language proficiency

2022 Fiscal Year Final Research Report

• Project/Area Number: 18K11557
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62020:Web informatics and service informatics-related
• Research Institution: Kyoto Sangyo University
• Principal Investigator: Miyamori Hisashi 京都産業大学, 情報理工学部, 教授 (90287988)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Keywords: マルチモーダル / 読解力 / 統計データ / リランキング / 質問応答 / 画像特徴量 / 深層学習 / 人工知能

Outline of Final Research Achievements

This research aims to establish an essential technology to realize more human-like accurate reading comprehension, which cannot be achieved by conventional natural language processing alone, by building a model that utilizes multimedia data such as images and charts.
The main achievements include a question-answering method that jointly utilizes text and feature expressions of images derived from text, a method for ranking and relating statistical data described in tabular form from text that the user wants to examine, and a method for performing query-oriented summarization using sentence encoders to explain what has been grasped.

Free Research Field

マルチメディアデータ工学

Academic Significance and Societal Importance of the Research Achievements

本研究の学術的独自性は、文章を読みながら頭の中に視覚的要素を思い描いたり、文章を読む際に様々な知識や文脈と関係付けながらその内容理解を促進するといった、より人間らしい読解力を、画像や図表といったマルチメディアデータを活用したモデル構築により実現することに着眼している点である。本研究は、人とのより的確なインタラクションが求められるアプリケーションに広く応用することが可能であり、あらゆる場面で快適で豊かな生活を実現する超スマート社会の根幹を担う技術の一つとして貢献することが期待できる。