| 研究課題/領域番号 |
23K24868
|
|---|
| 補助金の研究課題番号 |
22H03612 (2022-2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2022-2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 名古屋大学 |
|---|
研究代表者 |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
|
|---|
| 研究分担者 |
平山 高嗣 人間環境大学, 環境科学部, 教授 (10423021)
駒水 孝裕 名古屋大学, 数理・データ科学教育研究センター, 准教授 (30756367)
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
道満 恵介 中京大学, 工学部, 准教授 (90645748)
KASTNER MarcAurel 広島市立大学, 情報科学研究科, 助教 (30966700)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2025年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2024年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2023年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2022年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
|
|---|
| キーワード | 言語情報 / 視覚情報 / マルチメディア / 統合処理 / 印象 |
|---|
| 研究開始時の研究の概要 |
いわゆる「セマンティックギャップ」を越えて言語情報と視覚情報を関連付けるための方法論を提案する．従来，視覚情報から言語情報を表現する特徴を抽出する方法論，いわば「視覚情報がもつ言語的性質」の解明について取り組まれてきたのと逆に，「言語情報がもつ視覚的性質」の解明に取り組む．これは従来，高コストの主観評価実験によって定量化されてきたが，画像生成技術を用いたデータ駆動型手法で，これを低コストで定量化する．また，印象の程度に応じて挙動が変化する応用事例を通じて，視覚情報の言語的性質及び言語情報の視覚的性質の両者に基づいてセマンティックギャップを縮小したうえで，マルチメディア統合処理の効果を実証する．
|
| 研究実績の概要 |
本研究課題では，言語情報がもつ様々な視覚的性質として，事象に内在する静的印象と，事象の動きに関する動的印象に分けて分析し，与えられた言語情報がそれらをどの程度もっているか定量化する手法を提案する．さらに，それらの印象の程度に基づいて挙動が変化するマルチメディア統合処理による応用事例を提案する．具体的には，言語情報がもつ視覚的性質を明らかにするために，【課題1】 名詞に注目した，事象に内在する静的印象の定量化，【課題2】 動詞に注目した，事象の動きに関する動的印象の定量化，という2つの課題に取り組む．また，印象の程度に応じて挙動が変化するマルチメディア統合処理による応用事例において，提案する方法論の有効性を実証的に明らかにする．
令和5年度は，【課題1】について，令和4年度に引き続き，単語に対する静的印象の推定手法を実現する第一段階として，未知語の印象を反映した画像生成手法について検討した．また，【課題2】について，動的印象を推定するモデルを直接構築せずに，生成されるキャプションの動的印象をパラメトリックに制御した画像キャプショニング手法を開発した．
また，これらの研究を進める過程で，言語の発音が印象に与える影響について注目するようになり，複数の応用事例においてその効果を検証すべく初期検討を行った．
さらに，これらのキャプショニング技術の応用事例として，複数画像のキャプショニング手法について検討した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
【課題1】【課題2】ともに概ね当初の計画通り進展しているが，研究を進める過程で，言語の発音が印象に与える影響について新たに注目するようになり，その効果を検証すべく初期検討を行っている．
|
| 今後の研究の推進方策 |
当初の計画にはなかった着目点として，言語の発音が印象に与える影響について新たに注目するようになったため，応用事例においてその効果を検証する．
|
