Study of the realistic effects using multi-modal stimuli on the human senses with display system

• Project/Area Number: 17K00279
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: Tokai University
• Principal Investigator: 伴野 明 東海大学, 情報通信学部, 教授 (90328104)
• Project Period (FY): 2017-04-01 – 2019-03-31
• Project Status: Discontinued (Fiscal Year 2018)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2019: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000); Fiscal Year 2018: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2017: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: 表示装置 / 映像 / 香り / 気流 / 感性マルチメディア / クロスモーダル / 心理評価 / 映像表示 / 生体反応計測 / 臨場感評価 / マルチモーダルインタフェース / バーチャルリアリティ / 感性情報学

Outline of Annual Research Achievements

本研究課題は、これまで開発を進めてきた視聴覚・嗅覚・風触覚の各情報を協調的に表示できる装置（感性マルチメディアディスプレイ；KMMD）を用いて、摂食系、及び、温感系のコンテンツを提示し、心理的効果を明らかにすることである。当初計画は、平成29年度から平成31年度までの3年間であったが、平成30年3月をもって所属機関を退職し科研費応募資格を喪失したため研究を終了した。主な実績は以下の通りである。
（１）視覚・嗅覚・風触覚協調表示装置の改良と構成法：KMMDを摂食系、温感系のマルチモーダルコンテンツが提示できるように、即ち、映像シーンと連動するように、気流や香りを提示できるように改良し、心理実験の環境を整備した。
（２）コンテンツの制作と生体反応計測を用いた臨場感評価法：摂食系コンテンツ制作では、被験者の多くがエピソード記憶を持つ馴染みの食材やその調理シーンを題材とした。温感系コンテンツ制作では、自然の季節変化（秋～冬～春）を題材とした。これら映像をKMMDで被験者に提示し、脳血流変化、視線変化、皮膚表面温度変化などの生体反応を計測した。また、アンケートによる主観的指標変化を計測した。その結果、摂食系コンテンツ提示では唾液分泌に関連する指標が変化した。温感系コンテンツの提示では、体感温度に関する指標が変化した。
これらを整理したところ、複数の感覚刺激を矛盾なく提示することにより、臨場感は向上し、コンテンツの表現に合致した生体反応が生じやすいことを明らかにした。また、臨場感の向上にKMMDは有効なことを明らかにした。

Research Products

• [Journal Article] 気体通過型映像表示装置によって生成される清涼感心理効果 (2018)
  • Author(s): 伴野啓介, 伴野明
  • Journal Title: 電気学会論文誌E Volume: Vol. 138 , No. 8 Pages: 343-353
  • NAID: 130007429860
  • Peer Reviewed
• [Journal Article] 香り付き風触覚映像表示装置を用いた季節映像が体感温度に及ぼす影響 (2018)
  • Author(s): 伴野啓介, 松本美緒, 伴野明
  • Journal Title: ヒューマンインタフェースシンポジウム２０１８論文集 Volume: No.33p Pages: 478-481
• [Journal Article] 生体反応計測を用いた摂食映像の臨場感評価 (2018)
  • Author(s): 伴野明, 高橋良任, 伴野啓介
  • Journal Title: ヒューマンインタフェースシンポジウム２０１８論文集 Volume: No.56p Pages: 585-588
• [Presentation] 香り付きコンピュータゲームの試作とバーチャルリアリティ教材への可能性 (2017)
  • Author(s): 菊島理紗子, 伴野明
  • Organizer: 第80 回ＣＧ・可視化研究会（CAVE研究会）
• [Presentation] 音楽映像の嗜好性が自律神経と体感温度に及ぼす影響 (2017)
  • Author(s): 伴野明, 遠藤豪, 樋口慶太
  • Organizer: ヒューマンインタフェースシンポジウム２０１７
• [Presentation] 匂い付き摂食映像の臨場感が記憶に及ぼす影響に関する一考察 (2017)
  • Author(s): 伴野啓介, 山田竜也, 牧野大翔, 田中真奈, 伴野明
  • Organizer: ヒューマンインタフェースシンポジウム２０１７
• [Presentation] 摂食時・調理時の視聴覚情報提示が食欲に及ぼす影響 (2017)
  • Author(s): 伴野明, 松島大士
  • Organizer: ヒューマンインタフェースシンポジウム２０１７
• [Presentation] VR 教材に向けた香り付き神経衰弱ゲームの試作 (2017)
  • Author(s): 伴野明, 菊島理紗子
  • Organizer: 2017_電子情報通信学会、基礎・境界ソサイエティ_NOLTA
• [Presentation] 風触覚・嗅覚を提示可能な映像表示装置とVR 涼風機の癒し効果 (2017)
  • Author(s): 伴野明, 財前昌幸, 西口葵
  • Organizer: 2017_電子情報通信学会、基礎・境界ソサイエティ_NOLTA
• [Book] 口・鼻・耳の感覚メカニズムと応用技術 (2018)
  • Author(s): 映像への香り付加提示法と心理的効果
  • Publisher: S&T出版(株)
• [Book] 口・鼻・耳の感覚メカニズムと応用技術、5章3節 映像への香り付加提示法と心理的効果 (2018)
  • Author(s): 伴野明
  • Total Pages: 20
  • Publisher: S&T出版