Controlling Perception and Behavior during Eating with Projection Mapping onto Food

• Project Area: Understanding human recognition of material properties for innovation in SHITSUKAN science and technology
• Project/Area Number: 18H05002
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Research Institution: The University of Tokyo
• Principal Investigator: 鳴海 拓志 東京大学, 大学院情報理工学系研究科, 准教授 (70614353)
• Project Period (FY): 2018-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥8,840,000 (Direct Cost: ¥6,800,000、Indirect Cost: ¥2,040,000); Fiscal Year 2019: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2018: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
• Keywords: 食体験 / 食行動 / 知覚 / プロジェクションマッピング / 質感

Outline of Annual Research Achievements

本研究の目的は，食品へのプロジェクションマッピングによって視覚的質感を変化させることで，その食品を摂取したときに生じる多感覚知覚（食感，温度，味質，量，鮮度等）やおいしさ等の認知，食行動を制御することが可能な食品向けの新規質感変調投影技術を確立することである．視覚的質感の変化が多感覚知覚に加えて行動や認知をも変化させるという現象を，最も多感覚を活用する食行動に適用し，広範な知覚に影響を与える影響をモデル化することを狙う．そのために，食品の視覚的質感の変化が食感，温度，味質，量，鮮度等の推定に与える影響と，摂食時に生じる多感覚知覚やおいしさ等の認知，さらには食行動に与える影響を体系的に明らかにする．その上で，食知覚・食行動を制御して提示可能な食品向けの新規質感変調投影技術・質感設計手法を明らかにする．
前年度および研究期間延長となった本年度は，動的質感による食品への知覚や認知の変化が購買行動に影響を与えるかを調査するため，実際のレストランで実験をおこなった．日本科学未来館のレストランで，ショーケース内の食品にぐつぐつとした煮える動きの運動情報（動的質感）を投影する日を2日，色味を揃えるために運動情報のない単色の画像（単色画像）を投影する日を2日設け，期間中のレストラン利用者の購買行動データを取得した．その結果，単色画像を投影した場合には当該食品の注文率が7.5%（998名中75名が注文）であったのに対し，動的質感を投影した場合には注文率が10.4%（1355名中141名が注文）となり，有意に注文率が増加した．この結果から，プロジェクションマッピングによる動的質感の付与によって増進された対象の食品に対する食欲が実際の購買行動にも結びつくことを示した．これらの知見をまとめ，動的質感の変調が食知覚・食行動に与える影響を体系化し，食知覚・食行動に影響を与える手法・方策をとりまとめた．

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Taste in motion: The effect of projection mapping of a boiling effect on food expectation, food perception and purchasing behavior (2021)
  • Author(s): Yuji Suzuki, Takuji Narumi, Tomohiro Tanikawa and Michitaka Hirose
  • Journal Title: Frontiers in Computer Science Volume: -
  • Peer Reviewed / Open Access
• [Journal Article] 感覚間相互作用を活用した味と匂いの提示と拡張 (2021)
  • Author(s): 鳴海拓志
  • Journal Title: 日本味と匂学会誌 Volume: Vol.28 No.1 Pages: 11-18
• [Journal Article] A sprinkle of emotions vs a pinch of crossmodality: Towards globally meaningful sonic seasoning strategies for enhanced multisensory tasting experiences (2020)
  • Author(s): Reinoso-Carvalho Felipe、Gunn Laura、Molina German、Narumi Takuji、Spence Charles、Suzuki Yuji、ter Horst Enrique、Wagemans Johan
  • Journal Title: Journal of Business Research Volume: 117 Pages: 389-399
  • DOI: 10.1016/j.jbusres.2020.04.055
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] 多感覚インタラクション技術による飲食体験の拡張 (2020)
  • Author(s): 鳴海拓志
  • Journal Title: ソフト・ドリンク技術 Volume: 192 Pages: 137-154
• [Journal Article] 多感覚情報提示で作り出す食の喜び (2020)
  • Author(s): 鳴海拓志
  • Journal Title: 電子情報通信学会誌 Volume: Vol.103 No.9 Pages: 909-915
• [Journal Article] Saltiness intensity enhancements by odor of soy sauce synchronized with breathing (2019)
  • Author(s): 角谷 雄哉、鳴海 拓志、小早川 達、河合 崇行、日下部 裕子、國枝 里美、和田 有史
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 24 Issue: 1 Pages: 77-82
  • DOI: 10.18974/tvrsj.24.1_77
  • NAID: 130007628859
  • ISSN: 1344-011X, 2423-9593
  • Peer Reviewed / Open Access
• [Journal Article] Adjustment of Drink Consumption Based on Augmented Reality (2018)
  • Author(s): 鳴海 拓志、鈴木 瑛二、櫻井 翔、谷川 智洋、廣瀬 通孝
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 23 Issue: 3 Pages: 103-113
  • DOI: 10.18974/tvrsj.23.3_103
  • NAID: 130007494939
  • ISSN: 1344-011X, 2423-9593
  • Peer Reviewed / Open Access
• [Journal Article] Perceptual and Cognitive Change in Eating Experience of Tempura by Changing Eating Environment with Projection Mapping (2018)
  • Author(s): 鳴海 拓志、松尾 宇人、櫻井 翔、谷川 智洋、廣瀬 通孝
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 23 Issue: 2 Pages: 65-74
  • DOI: 10.18974/tvrsj.23.2_65
  • NAID: 130007386339
  • ISSN: 1344-011X, 2423-9593
  • Peer Reviewed / Open Access
• [Journal Article] クロスモーダル設計による感性価値創造 (2018)
  • Author(s): 鳴海拓志
  • Journal Title: 設計工学 Volume: 53 Pages: 644-652
• [Presentation] 多感覚情報とHuman-Food Interaction (2021)
  • Author(s): 鳴海拓志
  • Organizer: URCF実空間メディアワーキンググループセミナー 実空間メディアと複合感覚として食を考える
  • Invited
• [Presentation] HCI分野におけるHuman-Food Interaction研究の広がり (2020)
  • Author(s): 鳴海拓志
  • Organizer: HCGシンポジウム2021企画セッション「食と情報処理のこれまでとこれから －食メディア研究会の活動を振り返りながら語る未来－」
  • Invited
• [Presentation] 五感のVRによる食の拡張 (2020)
  • Author(s): 鳴海拓志
  • Organizer: 味と匂い学会オーガナイズドセッション「五感と味嗅覚研究の最前線」
  • Invited
• [Presentation] Enchanting Your Noodles: GAN-based Real-time Food-to-Food Translation and Its Impact on Vision-induced Gustatory Manipulation (2019)
  • Author(s): Kizashi Nakano, Daichi Horita, Nobuchika Sakata, Kiyoshi Kiyokawa, Keiji Yanai, Takuji Narumi
  • Organizer: IEEE VR 2019
  • Int'l Joint Research
• [Presentation] Food texture manipulation by face deformation (2018)
  • Author(s): Yuji Suzuki, Jotaro Shigeyama, Shigeo Yoshida, Takuji Narumi, Tomohiro Tanikawa, Michitaka Hirose
  • Organizer: ACM SIGGRAPH 2018 Posters,
  • Int'l Joint Research
• [Presentation] The future of computing and food (2018)
  • Author(s): M. Obrist, P. Marti, C. Velasco, Y Tu, T. Narumi, and N. L. M. Holten
  • Organizer: 2018 International Conference on Advanced Visual Interfaces
  • Int'l Joint Research
• [Presentation] 麺類を対象とした視覚変調による味覚操作インタフェースの有効性評価 (2018)
  • Author(s): 中野萌士，鳴海拓志，酒田信親，清川清
  • Organizer: 第23回バーチャルリアリティ学会大会
• [Presentation] 誇張した咀嚼運動の映像提示による食感知覚操作に関する基礎検討 (2018)
  • Author(s): 鈴木佑司， 茂山丈太郎， 吉田成朗， 鳴海拓志， 谷川智洋， 廣瀬通孝
  • Organizer: MVE研究会
• [Presentation] Cross-modal Interfaces for Multi-sensorial VR and Human Augmentation (2018)
  • Author(s): Takuji Narumi
  • Organizer: VRCAI2018
  • Int'l Joint Research / Invited
• [Book] 今日からモノ知りシリーズ トコトンやさしいＶＲの本（Ｂ＆Ｔブックス） (2019)
  • Author(s): 廣瀬 通孝 監修/東京大学バーチャルリアリティ教育研究センター 編
  • Total Pages: 160
  • Publisher: 日刊工業新聞社
  • ISBN: 4526079421