Studies of speech, image and natural language processing for multimodal spoken document retrieval

• Project/Area Number: 23K11216
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Shiga University
• Principal Investigator: 南條 浩輝 滋賀大学, データサイエンス学系, 教授 (50388162)
• Co-Investigator(Kenkyū-buntansha): 市川 治 滋賀大学, データサイエンス学系, 教授 (00821612) ; 飯山 将晃 滋賀大学, データサイエンス学系, 教授 (70362415)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
• Keywords: マルチモーダル情報処理 / 自然言語処理 / 画像処理 / 音声処理 / 音声ドキュメント

Outline of Research at the Start

深層学習技術の進展に伴い，計算機が高精度に画像や映像と音声，言語（テキスト）の処理を行えるようになってきた．本申請課題は，映像・画像と音声とテキストとを高度に対応付ける基礎技術を研究した上で，それらを用いた音声動画の検索技術の実現を目的とする．音声を対象とした検索は音声ドキュメント検索とよばれ，本申請課題では，音声情報だけでなく動画の映像・画像情報も用いた検索手法の実現を目的とする．これまでに蓄積してきた音声ドキュメント処理技術，音声-テキスト，画像-テキストなどのモダリティ変換技術に関する技術や知見を発展・拡張・統合することで，マルチモーダル音声ドキュメント検索のための基盤形成を目指す．