専門知に基づいて画像を理解し説明する対話型AIの実現

2023 Fiscal Year Comments on the Screening Results

• Project/Area Number: 23H00482
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Tohoku University
• Principal Investigator: 岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
• Co-Investigator(Kenkyū-buntansha): 菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
• Project Period (FY): 2023-04-01 – 2027-03-31

Summary of the Research Project

画像に写る物・事象を理解し、専門知に基づいて判断や意思決定を行う「専門知に基づいて仮説推論を実行できる対話型画像理解AI」を実現しようという研究である。仮説推論を可能にするために、専門的なテキストデータから知識となる概念を取り出し、画像に結びつけ、画像とテキストをペアで扱うことを目指す。

Scientific Significance and Expected Research Achievements

専門知を扱える画像理解AIという着想は、text-to-image分野において今後必要となる切り口であり、学術的意義が高い。さらに、仮説推論を扱える画像理解AIという狙いは、医療・インフラ・災害等々、画像診断が必要不可欠なあらゆる専門領域の現実の問題解決に役立つ知見を得ることが期待できる。