Building World Knowledge by Grounding Language and Multimedia

2022 Fiscal Year Final Research Report

• Project/Area Number: 19H04166
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: The University of Tokyo
• Principal Investigator: Hideki Nakayama 東京大学, 大学院情報理工学系研究科, 准教授 (00643305)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 画像認識 / 自然言語処理 / 知識獲得 / 知識グラフ / 世界知識 / マルチメディア / マルチモーダル / 人工知能

Outline of Final Research Achievements

In this research, we developed a series of methods for mining commonsense knowledge about various concepts from multimedia data such as images, videos, and text, preparing it as a database with a graph structure (named Multimedia World Knowledge), and utilizing it for various artificial intelligence tasks. These results have been presented at a total of 27 international conferences and international journals (9 of which were accepted by top conferences), and have been highly acclaimed internationally.

Free Research Field

画像認識・自然言語処理・機械学習・人工知能

Academic Significance and Societal Importance of the Research Achievements

画像やテキストの認識・生成を行う人工知能は近年驚異的な進歩を遂げ、社会的にも大きなインパクトを与えている。その原動力となったのは、大量のデータから学習した大規模言語モデルであるが、本研究では知識グラフという異なる形式の知識基盤の獲得方法とその有効性を示した点に独創性がある。知識グラフは、大規模言語モデルと併用することで人工知能の性能をさらに向上できる可能性があると同時に、解釈性や可制御性に優れた表現であるため、今後の社会でより信頼性の高い人工知能技術を実装・展開するための重要なアプローチになると考えられる。