専門知に基づいて画像を理解し説明する対話型AIの実現

• Project/Area Number: 23H00482
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Tohoku University
• Principal Investigator: 岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
• Co-Investigator(Kenkyū-buntansha): 菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥46,800,000 (Direct Cost: ¥36,000,000、Indirect Cost: ¥10,800,000); Fiscal Year 2024: ¥11,570,000 (Direct Cost: ¥8,900,000、Indirect Cost: ¥2,670,000); Fiscal Year 2023: ¥13,260,000 (Direct Cost: ¥10,200,000、Indirect Cost: ¥3,060,000)
• Keywords: マルチモーダルAI / 深層学習 / コンピュータビジョン / 知識獲得 / 自然言語 / 人工知能 / 対話型AI

Outline of Research at the Start

画像に写る物・事象を理解し、自然言語で説明する対話型のAIであって、特に専門知に基づいて行う判断・意思決定において人をサポート可能なものを実現する。そのためには専門知を取り込み、画像理解に利用できるマルチモーダル表現として保持し、さらにそれに基づく仮説推論を行える必要がある。専門書や論文などのテキストデータとして得られる専門知を視覚概念と対応付ける方法などの必要な方法を実現し、目標を達成する。