言語概念のマルチメディアへのグラウンディングに基づく世界知識構築

2022 年度 研究成果報告書

• 研究課題/領域番号: 19H04166
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 小区分61030:知能情報学関連
• 研究機関: 東京大学
• 研究代表者: 中山 英樹 東京大学, 大学院情報理工学系研究科, 准教授 (00643305)
• 研究期間 (年度): 2019-04-01 – 2023-03-31
• キーワード: 画像認識 / 自然言語処理 / 知識獲得 / 知識グラフ / 世界知識 / マルチメディア / マルチモーダル / 人工知能

研究成果の概要

本研究では、画像・動画像・テキスト等のマルチメディアデータからさまざまな概念に関する常識的知識をマイニングし、これをグラフ構造を有するデータベース（マルチメディア世界知識と名付ける）として整え、コンピュータビジョンや自然言語処理などの応用タスクへ活用する一連の手法を開発した。これらの成果は合計27件の国際会議・国際論文誌で発表され(うち9件は最難関国際会議で採択)、国際的に高い評価を得たといえる。

自由記述の分野

画像認識・自然言語処理・機械学習・人工知能

研究成果の学術的意義や社会的意義

画像やテキストの認識・生成を行う人工知能は近年驚異的な進歩を遂げ、社会的にも大きなインパクトを与えている。その原動力となったのは、大量のデータから学習した大規模言語モデルであるが、本研究では知識グラフという異なる形式の知識基盤の獲得方法とその有効性を示した点に独創性がある。知識グラフは、大規模言語モデルと併用することで人工知能の性能をさらに向上できる可能性があると同時に、解釈性や可制御性に優れた表現であるため、今後の社会でより信頼性の高い人工知能技術を実装・展開するための重要なアプローチになると考えられる。