| 研究課題/領域番号 |
22H03612
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 名古屋大学 |
|---|
研究代表者 |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
|
|---|
| 研究分担者 |
平山 高嗣 人間環境大学, 環境科学部, 教授 (10423021)
駒水 孝裕 名古屋大学, 数理・データ科学教育研究センター, 准教授 (30756367)
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
道満 恵介 中京大学, 工学部, 准教授 (90645748)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| キーワード | 言語情報 / 視覚情報 / マルチメディア / 統合処理 / 印象 |
|---|
| 研究実績の概要 |
本研究課題では，言語情報がもつ様々な視覚的性質として，事象に内在する静的印象と，事象の動きに関する動的印象に分けて分析し，与えられた言語情報がそれらをどの程度もっているか定量化する手法を提案する．さらに，それらの印象の程度に基づいて挙動が変化するマルチメディア統合処理による応用事例を提案する．具体的には，言語情報がもつ視覚的性質を明らかにするために，【課題1】 名詞に注目した，事象に内在する静的印象の定量化，【課題2】 動詞に注目した，事象の動きに関する動的印象の定量化，という2つの課題に取り組む．また，印象の程度に応じて挙動が変化するマルチメディア統合処理による応用事例において，提案する方法論の有効性を実証的に明らかにする．
令和5年度は，【課題1】について，令和4年度に引き続き，単語に対する静的印象の推定手法を実現する第一段階として，未知語の印象を反映した画像生成手法について検討した．また，【課題2】について，動的印象を推定するモデルを直接構築せずに，生成されるキャプションの動的印象をパラメトリックに制御した画像キャプショニング手法を開発した．
また，これらの研究を進める過程で，言語の発音が印象に与える影響について注目するようになり，複数の応用事例においてその効果を検証すべく初期検討を行った．
さらに，これらのキャプショニング技術の応用事例として，複数画像のキャプショニング手法について検討した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
【課題1】【課題2】ともに概ね当初の計画通り進展しているが，研究を進める過程で，言語の発音が印象に与える影響について新たに注目するようになり，その効果を検証すべく初期検討を行っている．
|
| 今後の研究の推進方策 |
当初の計画にはなかった着目点として，言語の発音が印象に与える影響について新たに注目するようになったため，応用事例においてその効果を検証する．
|
