Realization of cross-media retrieval system based on impression

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K00370
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Kansei informatics
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: Hochin Teruhisa 京都工芸繊維大学, 情報工学・人間科学系, 教授 (00251984)
• Co-Investigator(Kenkyū-buntansha): 野宮 浩揮 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (80533116)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 感性 / 印象 / 異種メディア / 相互検索 / 動画 / 同期 / 季節 / 気分

Outline of Final Research Achievements

The final aims of this research are that people live in happy mood and that people could be reassured and become happy. To these ends, the followings are realized for the conventional multimedia data retrieval system based on impression: (1) Mutual retrieval of videos, (2) Retrieval and presentation of visual and audio materials considering harmony for bright feeling, (3) Mood and season adaptations for retrieval, and (4) Intuitive specification of the retrieval condition of audiovisual materials.

Free Research Field

マルチメディア感性工学

Academic Significance and Societal Importance of the Research Achievements

学術的には，動画の特徴量からの感性の主因子の因子得点の推定手法，異なる感性空間の変換方法，動画と音・音楽の時間的調和を取るための動画の速度における動画の背景の動きの考慮手法，オブジェクトの周期的な動きと音のテンポとの調和手法，音楽の印象変化に合わせた画像の検索・提示方法，ならびに，検索したい視聴覚素材の印象の直感的な指定法を考案し，マルチメディアデータ検索への季節の影響を明確化した．
社会的には，これまでにプロトタイプシステムとして実現してきた異種メディアデータ相互検索システムを一般の人がより利用しやすくすることが可能となった．