| 研究課題/領域番号 |
23K21726
|
|---|
| 配分区分 | 基金 |
|---|
| 研究機関 | 名古屋大学 |
|---|
研究代表者 |
駒水 孝裕 名古屋大学, 数理・データ科学・人工知能教育研究センター, 准教授 (30756367)
|
|---|
| 研究分担者 |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
石川 佳治 名古屋大学, 情報学研究科, 教授 (80263440)
波多野 賢治 同志社大学, 文化情報学部, 教授 (80314532)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2025-03-31
|
| キーワード | データ統合 / マルチメディア / 探索的情報検索 / Linked Open Data |
|---|
| 研究実績の概要 |
本研究では、画像・映像・テキストなど異種のオープンデータを統合的に扱うための管理基盤の構築を目指し、クロスモーダル処理や知識統合、軽量モデル、大規模言語モデル（LLM）の応用に関する基盤技術の研究開発を進めた。
映像と言語の対応付けに関しては、弱教師あり映像モーメント検索において、マルチプロポーザル協調とマルチタスク学習を導入することで、自然言語によるシーン検索の精度向上を実現した。また、オープン語彙アクション検出では、時間的特徴とラベル特徴の統合により、未知行動への対応力を高めた。さらに、レシピ検索においては、統一テキストエンコーダと精緻なコントラスト学習を組み合わせ、画像とテキスト間の細粒度な意味対応を可能にした。
言語と画像の創発的対応に関しては、ナンセンス語に対する画像生成において音韻・音素的類似性を活用した補間手法や、Diffusion Model を用いた概念ブレンドにより、意味的に一貫性のある多様な生成を達成した。また、形容詞と画像の対応性を定量化する手法を提案し、視覚と言語の意味関係を数値的に扱うための基盤を構築した。
さらに、外部知識とシーングラフを活用して画像コレクションを要約し、視覚的ストーリーテリングへ応用するなど、異種情報の統合管理と高次的理解の手法も開発した。加えて、医療・農業分野における応用として、ゼロショット薬剤マッチングや、軽量な病害検出モデルを開発し、実環境での活用可能性を実証した。
また、LLM を活用したファクトチェック支援や感情認識の研究も行い、人間の認知と情報処理を接続する新たな枠組みにも取り組んだ。
|
