Analysis of the visual characteristics of language information and its application to multimedia integrated processing
| Project/Area Number |
23K24868
|
|---|
| Project/Area Number (Other) |
22H03612 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
井手 一郎 名古屋大学, 情報学研究科, 教授 (10332157)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
平山 高嗣 人間環境大学, 環境科学部, 教授 (10423021)
駒水 孝裕 名古屋大学, 数理・データ科学教育研究センター, 准教授 (30756367)
川西 康友 国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (50755147)
道満 恵介 中京大学, 工学部, 准教授 (90645748)
KASTNER MarcAurel 広島市立大学, 情報科学研究科, 助教 (30966700)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2025: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2023: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
|
|---|
| Keywords | 言語情報 / 視覚情報 / マルチメディア / 統合処理 / 印象 |
|---|
| Outline of Research at the Start |
いわゆる「セマンティックギャップ」を越えて言語情報と視覚情報を関連付けるための方法論を提案する．従来，視覚情報から言語情報を表現する特徴を抽出する方法論，いわば「視覚情報がもつ言語的性質」の解明について取り組まれてきたのと逆に，「言語情報がもつ視覚的性質」の解明に取り組む．これは従来，高コストの主観評価実験によって定量化されてきたが，画像生成技術を用いたデータ駆動型手法で，これを低コストで定量化する．また，印象の程度に応じて挙動が変化する応用事例を通じて，視覚情報の言語的性質及び言語情報の視覚的性質の両者に基づいてセマンティックギャップを縮小したうえで，マルチメディア統合処理の効果を実証する．
|
| Outline of Annual Research Achievements |
本研究課題では，言語情報がもつ様々な視覚的性質として，事象に内在する静的印象と，事象の動きに関する動的印象に分けて分析し，与えられた言語情報がそれらをどの程度もっているか定量化する手法を提案する．さらに，それらの印象の程度に基づいて挙動が変化するマルチメディア統合処理による応用事例を提案する．具体的には，言語情報がもつ視覚的性質を明らかにするために，【課題1】 名詞に注目した，事象に内在する静的印象の定量化，【課題2】 動詞に注目した，事象の動きに関する動的印象の定量化，という2つの課題に取り組む．また，印象の程度に応じて挙動が変化するマルチメディア統合処理による応用事例において，提案する方法論の有効性を実証的に明らかにする．
令和4年度は，【課題1】について，先行して進めている「鋭さ／丸さ」を対象として方法論の検証を進めるとともに，単語に対する静的印象の推定手法を実現する第一段階として，未知語の印象を反映した画像生成手法について検討した．また，【課題2】について，動的印象を推定するモデルを直接構築せずに，【応用事例1】として，生成されるキャプションの動的印象をパラメトリックに制御した画像キャプショニング手法を検討した．また，【応用事例2】として，コメントの印象に基づく映像コンテンツのハイライト検出手法の実現を目指して，そのために必要なデータセットを自動構築するとともに，コメントの印象推定手法を開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【課題2】について，当初の計画では，動的印象を推定するモデルを構築したうえで，【応用事例1】として，生成されるキャプションの動的印象をパラメトリックに制御した画像キャプショニング手法を検討する予定であったが，動的印象を推定するモデルを直接構築せずに【応用事例1】を実現する方法を見出したため，【課題2】については，一旦検討を延期し，代わりに【応用事例1】の検討を優先して進めることにした．
|
| Strategy for Future Research Activity |
まず，【課題1】について，単語に対する静的印象の推定手法を実現するための第一段階として，令和4年度に検討した未知語の印象を反映した画像生成手法に基づいて，第二段階として，第一段階で生成した画像の印象推定について検討する．
更に，本課題を検討する過程で見出した言語の発音に潜在する印象について，漢字の読みを分析することで，日本語における象徴素の抽出に挑戦する．
また，【課題2】について，当初の計画では，動的印象を推定するモデルを構築したうえで，【応用事例1】として，生成されるキャプションの動的印象をパラメトリックに制御した画像キャプショニング手法を検討する予定であったが，令和4年度に見出した，動的印象を推定するモデルを直接構築せずに【応用事例1】の実現を優先的に進め，その効果を検証する．
|
Report
(1 results)
Research Products
(13 results)
