| Project/Area Number |
23K24868
|
|---|
| Project/Area Number (Other) |
22H03612 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
平山 高嗣 人間環境大学, 環境科学部, 教授 (10423021)
駒水 孝裕 名古屋大学, 数理・データ科学教育研究センター, 准教授 (30756367)
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
道満 恵介 中京大学, 工学部, 准教授 (90645748)
KASTNER MarcAurel 広島市立大学, 情報科学研究科, 助教 (30966700)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2025: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2023: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
|
|---|
| Keywords | 言語情報 / 視覚情報 / マルチメディア / 統合処理 / 印象 |
|---|
| Outline of Research at the Start |
いわゆる「セマンティックギャップ」を越えて言語情報と視覚情報を関連付けるための方法論を提案する．従来，視覚情報から言語情報を表現する特徴を抽出する方法論，いわば「視覚情報がもつ言語的性質」の解明について取り組まれてきたのと逆に，「言語情報がもつ視覚的性質」の解明に取り組む．これは従来，高コストの主観評価実験によって定量化されてきたが，画像生成技術を用いたデータ駆動型手法で，これを低コストで定量化する．また，印象の程度に応じて挙動が変化する応用事例を通じて，視覚情報の言語的性質及び言語情報の視覚的性質の両者に基づいてセマンティックギャップを縮小したうえで，マルチメディア統合処理の効果を実証する．
|
| Outline of Annual Research Achievements |
本研究課題では，言語情報がもつ様々な視覚的性質として，事象に内在する静的印象と，事象の動きに関する動的印象に分けて分析し，与えられた言語情報がそれらをどの程度もっているか定量化する手法を提案する．さらに，それらの印象の程度に基づいて挙動が変化するマルチメディア統合処理による応用事例を提案する．具体的には，言語情報がもつ視覚的性質を明らかにするために，【課題1】 名詞に注目した，事象に内在する静的印象の定量化，【課題2】 動詞に注目した，事象の動きに関する動的印象の定量化，という2つの課題に取り組む．また，印象の程度に応じて挙動が変化するマルチメディア統合処理による応用事例において，提案する方法論の有効性を実証的に明らかにする．
令和5年度は，【課題1】について，令和4年度に引き続き，単語に対する静的印象の推定手法を実現する第一段階として，未知語の印象を反映した画像生成手法について検討した．また，【課題2】について，動的印象を推定するモデルを直接構築せずに，生成されるキャプションの動的印象をパラメトリックに制御した画像キャプショニング手法を開発した．
また，これらの研究を進める過程で，言語の発音が印象に与える影響について注目するようになり，複数の応用事例においてその効果を検証すべく初期検討を行った．
さらに，これらのキャプショニング技術の応用事例として，複数画像のキャプショニング手法について検討した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【課題1】【課題2】ともに概ね当初の計画通り進展しているが，研究を進める過程で，言語の発音が印象に与える影響について新たに注目するようになり，その効果を検証すべく初期検討を行っている．
|
| Strategy for Future Research Activity |
当初の計画にはなかった着目点として，言語の発音が印象に与える影響について新たに注目するようになったため，応用事例においてその効果を検証する．
|
