Designing Physical Media Eliciting "SHITSUKAN" Information from Materials toward Expressive Applications

• Project Area: Analysis and synthesis of deep SHITSUKAN information in the real world
• Project/Area Number: 20H05960
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: The University of Tokyo
• Principal Investigator: 筧 康明 東京大学, 大学院情報学環・学際情報学府, 教授 (40500202)
• Co-Investigator(Kenkyū-buntansha): 仲谷 正史 慶應義塾大学, 環境情報学部(藤沢), 准教授 (90714965)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥73,970,000 (Direct Cost: ¥56,900,000、Indirect Cost: ¥17,070,000); Fiscal Year 2024: ¥13,780,000 (Direct Cost: ¥10,600,000、Indirect Cost: ¥3,180,000); Fiscal Year 2023: ¥13,780,000 (Direct Cost: ¥10,600,000、Indirect Cost: ¥3,180,000); Fiscal Year 2022: ¥13,780,000 (Direct Cost: ¥10,600,000、Indirect Cost: ¥3,180,000); Fiscal Year 2021: ¥13,130,000 (Direct Cost: ¥10,100,000、Indirect Cost: ¥3,030,000); Fiscal Year 2020: ¥19,500,000 (Direct Cost: ¥15,000,000、Indirect Cost: ¥4,500,000)
• Keywords: 実体質感 / マテリアルインタラクション / アート表現 / ソフトセンサ / 実体ディスプレイ / 質感 / クロスモーダル / 行動変容

Outline of Research at the Start

本研究では、実素材およびそれらを多数集めた群（実素材群）の特性や振る舞いを制御し、素材性を活かした情報提示やインタラクションを行うフィジカルメディアの創出に取り組む。特に、コンピュテーショナルに制御される動的な実素材群の形状・色彩・触感などが人間にもたらす質感および行動変容に関する研究を実施し、その知見を設計に取り込む。さらに、ヒューマンインタフェース、アートなどへの応用を通して、環境に溶け込みながら、人間とのインタラクションを誘引するデザイン方略を導く。

Outline of Annual Research Achievements

1.実素材（群）の振る舞いが人間に与える質感解析：実体質感評価フレームワークを群質感に拡張した研究を進め、群質感を表現する評価語の選定を進めた。また、2(1)で述べる装置を用いて素材やその配置、動きを変えながら、フィジカルディスプレイの質感印象評価を行った。また、触感メタマテリアルの研究を進め、3Dプリンタで造形可能なラティス構造を複数種類、層状に重ねることで、ヒトが得る柔らかさ知覚を変化させる現象を見出した。
2.実素材（群）のマルチモーダル制御とインタラクション： (1)スプリング状モジュールとアクチュータ群を用いて形状と色、テクスチャなど特性をマルチモーダルに変化させる実体ディスプレイの開発を進め、8x8ユニットのサイズでの大型化、さらに定量的な評価実験を行った。(2)デジタルファブリケーション技術を用いて、ものに質感や、その質感を活かした機能を付与する研究を行った。特に3Dプリントで柔らかい質感を持つ変形センサについて、磁石による形状カスタマイズや、異なる質感素材を組み合わせるセンサ設計に関する検討を行った。また、卓上型引張圧縮試験機を用いた物理特性の計測を進めた。
3. 実素材（群）質感を活かすアート、インタフェース応用の展開として、3Dプリント微細構造を持つキャンバスによる動的絵画作品、日本画画材である岩絵具を素材とする機械的描画とそれを用いた絵画制作、植物の生体電位を通じて環境情報のセンシングと可視・可聴化を行う作品制作を行い国際アートフェスティバルを含む展示を実施した。この他、視覚実体質感としてヒト顔の起伏の大きさ知覚が背景画像の画像統計量から受ける影響についての研究、聴覚実体質感として鈴の音をモチーフとして文化史調査と鈴をヒトが鳴らす動作探索、味覚実体質感として感性評価研究を通した市販のグミ製品のカテゴリーと分類についての検討を進めた。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

実素材群のマルチモーダル制御、実体質感評価するフレームワーク構築の両研究項目共に、上記実績に述べたとおり、対外的な発表を含めて順調に進めることができている。また、アートやインタフェースへの応用に関しても国際アートフェスティバルでの展示など成果を挙げている。

Strategy for Future Research Activity

今後も研究計画に沿って進行させる予定である。
引き続き、本学術変革研究領域での他の研究グループとの議論やコラボレーションをさらに活性化させていきたい。

Research Products

• [Journal Article] Skin Cold Stimulation Can Modulate the Perceptual Rating of Musical Chords (2023)
  • Author(s): Yuri Ishikawa, Rei Konno, Shinya Fujii and Masashi Nakatani
  • Journal Title: IEEE Transactions on Haptics Volume: 16 Issue: 4 Pages: 640-645
  • DOI: 10.1109/toh.2023.3275980
  • Peer Reviewed
• [Journal Article] Plantae Agrestis: Distributed, Self-Organizing Cybernetic Plants in a Botanical Conservatory (2023)
  • Author(s): Sareen Harpreet, Kakehi Yasuaki
  • Journal Title: Leonardo Volume: 56 Issue: 1 Pages: 41-42
  • DOI: 10.1162/leon_a_02315
  • Peer Reviewed / Open Access
• [Journal Article] With a Hint of Sudachi: Food Plating Can Facilitate the Fondness of Food. Front Psychol (2021)
  • Author(s): Kokaji N, Nakatani M
  • Journal Title: Frontiers in Psychology Volume: 12
  • DOI: 10.3389/fpsyg.2021.699218
  • Peer Reviewed / Open Access
• [Presentation] TensionFab: Fabrication of Room-scale Surface Structures From the Tension-Active Form of Planar Modules (2024)
  • Author(s): Yahui Lyu, Taiga Urata, Alessandro Garzanti, Ziyuan Jiang, Carlos Garcia Fernandez, Yasuaki Kakehi
  • Organizer: In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems (CHI '24)
  • Int'l Joint Research
• [Presentation] Immersive Flora: Re-Engaging with the Forest Through the Visualisation of Plant-Environment Interactions in Virtual Reality (2024)
  • Author(s): Youyang Hu, Cyprien Raymi Fol, Chiaochi Chou, Verena C Griess and Yasuaki Kakehi
  • Organizer: Extended Abstracts of the 2024 CHI Conference on Human Factors in Computing Systems
  • Int'l Joint Research
• [Presentation] 磁石を用いた組み替え可能なモジュール型ソフトセンサの提案 (2023)
  • Author(s): 佐倉玲、香川舞衣、韓燦教、筧康明
  • Organizer: Conference on 4D and Functional Fabrication 2023
• [Presentation] デジタルファブリケーションによる日本画表現に基づく彩色手法の検討 (2023)
  • Author(s): 溝脇由女、筧康明
  • Organizer: Conference on 4D and Functional Fabrication 2023
• [Presentation] LattiSense: A 3D-Printable Resistive Deformation Sensor with Lattice Structures (2023)
  • Author(s): Rei Sakura, Changyo Han, Yahui Lyu, Keisuke Watanabe, Ryosuke Yamamura, and Yasuaki Kakehi
  • Organizer: In Proceedings of the 8th ACM Symposium on Computational Fabrication (SCF '23). Association for Computing Machinery
  • Int'l Joint Research
• [Presentation] Published By ACM Demonstrating LattiSense: A 3D-Printable Resistive Deformation Sensor with Lattice Structures (2023)
  • Author(s): Rei Sakura, Changyo Han, Yahui Lyu, Keisuke Watanabe, Ryosuke Yamamura, and Yasuaki Kakehi
  • Organizer: In Proceedings of the 8th ACM Symposium on Computational Fabrication (SCF '23). Association for Computing Machinery
  • Int'l Joint Research
• [Presentation] A CNC Approach to Anodized Titanium Drawing (2023)
  • Author(s): Ranger Liu, Harpreet Singh Sareen, and Yasuaki Kakehi
  • Organizer: In Proceedings of the 8th ACM Symposium on Computational Fabrication (SCF '23). Association for Computing Machinery
  • Int'l Joint Research
• [Presentation] Synplant: Cymatics Visualization of Plant-Environment Interaction Based on Plants Biosignals (2023)
  • Author(s): Youyang Hu, Chiaochi Chou, and Yasuaki Kakehi
  • Organizer: Proc. ACM Comput. Graph. Interact. Tech.
  • Int'l Joint Research
• [Presentation] Neither Here Nor There: Botanical (mis)Communication (2023)
  • Author(s): Harpreet Sareen, Lauria Clarke, and Yasuaki Kakehi
  • Organizer: In Proceedings of the 15th Conference on Creativity and Cognition (C&C '23). Association for Computing Machinery
  • Int'l Joint Research
• [Presentation] Lucid Dream: Sensing and Artistic Representation of Plant-Nature Interaction Based on Plants Biosignals (2023)
  • Author(s): Youyang Hu, Chiaochi Chou, and Yasuaki Kakehi
  • Organizer: ISEA2023: 28th International Symposium on Electronic Art
  • Int'l Joint Research
• [Presentation] Heliobots: Stem-Based Robots on Helianthus Annuus for Directed Morphological Growth (2023)
  • Author(s): Sareen, Harpreet, Yasuaki Kakehi, Pattie Maes and Joseph Jacobson
  • Organizer: In Human Centric: Proceedings of the 28th International Conference of the Association for Computer-Aided Architectural Design Research in Asia (CAADRIA) 2023
  • Int'l Joint Research
• [Presentation] Fluidic Painting (2023)
  • Author(s): Tomomi Nitta, Yahui Lyu and Yasuaki Kakehi
  • Organizer: Ars Electronica Festival 2023 Gardens Exhibition
  • Int'l Joint Research
• [Presentation] 3D フードプリンタによって多種の食触感表現を可能にするための食品材料組成の検討 (2023)
  • Author(s): 小梶直, 仲谷正史
  • Organizer: ロボティクス・メカトロニクス 講演会 2023
• [Presentation] 実体質感としての人間の顔における彫りの深さ知覚の研究 (2023)
  • Author(s): 尾寺美音, 仲谷正史
  • Organizer: ロボティクス・メカトロニクス 講演会 2023
• [Presentation] 3D プリンタを利用した触感再現の研究 (第4報) (2023)
  • Author(s): 永島徹也, 仲谷正史, 山﨑陽一, 井村誠孝, 長田典子, 田中浩也
  • Organizer: ロボティクス・メカトロニクス 講演会 2023
• [Presentation] 触れて使用する日用品や彫刻が有する音響特徴と人間が喚起する触感印象の研究 (2023)
  • Author(s): 永末茉莉絵, 仲谷正史
  • Organizer: ロボティクス・メカトロニクス 講演会 2023
• [Presentation] 写真家アーヴィング・ペンの深奥質感なテクスチャ表現の研究 (2023)
  • Author(s): 石上結菜, 仲谷正史, 森将輝
  • Organizer: 第28回日本バーチャルリアリティ学会大会
• [Presentation] Auxetic mechanism hypothesis of mechanoreceptor Ruffini endings in touch reception (2023)
  • Author(s): Masashi Nakatani
  • Organizer: Neuroscience 2023
  • Int'l Joint Research
• [Presentation] BubbleTex: Designing Heterogenous Wettable Areas for Carbonation Bubble Patterns on Surfaces (2023)
  • Author(s): Harpreet Sareen, Yibo Fu, Nour Boulahcen, and Yasuaki Kakehi
  • Organizer: Conference on Human Factors in Computing Systems (CHI ’23)
  • Int'l Joint Research
• [Presentation] HELIOBOTS: Stem-based robots on Helianthus annuus for directed morphological growth (2023)
  • Author(s): Hapreet Sareen, Yasuaki Kakehi, Patte Maes and Joseph Jacobson
  • Organizer: CAADRIA2023
  • Int'l Joint Research
• [Presentation] 鈴をモチーフにした音響彫刻の展示 (2023)
  • Author(s): 永末茉莉絵, 仲谷正史
  • Organizer: 慶應SFC学会 第21回学術交流大会
• [Presentation] 柔らかい操作インタフェースのアイディア創出を促すワーク ショップの実践 (2023)
  • Author(s): 香川舞衣, 辻村和正, 佐倉玲, 山村亮介, 筧康明
  • Organizer: 情報処理学会インタラクション2023
• [Presentation] 質感の変化・取り替え可能な形状ディスプレイの基礎検討 (2023)
  • Author(s): 今村 知美，筧 康明
  • Organizer: 情報処理学会インタラクション2023
• [Presentation] Synplant (2022)
  • Author(s): Youyang Hu, Chiaochi Chou, Yasuaki Kakehi
  • Organizer: FUTURESCAPE PROJECT 2022
• [Presentation] TensionMod: 張力により変形可能な平面モジュールとその組み合わせによる造形の提案 (2022)
  • Author(s): 呂 亜輝，浦田 泰河，アレッサンドロ・ガルザンティ, 筧 康明
  • Organizer: Conference on 4D and Functional Fabrication 2022
• [Presentation] プリントオブジェクトの着彩過程を用いる動的絵画技法の提案 (2022)
  • Author(s): 新田 友美，呂 亜輝，筧 康明
  • Organizer: Conference on 4D and Functional Fabrication 2022
• [Presentation] 太陽光による物体の膨張変形制御のためのパウチ設計の基礎検討 (2022)
  • Author(s): 上野 太誠，佐藤 宏樹，筧 康明
  • Organizer: Conference on 4D and Functional Fabrication 2022
• [Presentation] ephemera (2022)
  • Author(s): Harpreet Sareen, Yibo Fu, Yasuaki Kakehi
  • Organizer: Ars Electronica Festival 2022
  • Int'l Joint Research
• [Presentation] With a Hint of Sudachi: Food Plating Can Facilitate the Fondness of Food (2022)
  • Author(s): Kokaji N, Nakatani M
  • Organizer: VSAC2022
  • Int'l Joint Research
• [Presentation] オーディオスペクトラムによる音の視覚化が与える音声の印象への影響 (2022)
  • Author(s): 西江葉月, 仲谷正史
  • Organizer: ロボティクス・メカトロニクス 講演会 2022
• [Presentation] 3Dプリンタを利用した触感再現の研究（第２報） (2022)
  • Author(s): 長内心, 仲谷正史
  • Organizer: ロボティクス・メカトロニクス 講演会 2022
• [Presentation] Dancing in The Sparkle: スパンコールのきらめきが舞台表現を魅力的に魅せるのはなぜか (2022)
  • Author(s): 伊賀理子, 仲谷正史
  • Organizer: 慶應SFC学会学術交流大会2022
• [Presentation] 肌の実体質感が与える深奥質感の研究 (2022)
  • Author(s): 尾寺美音, 森将輝, 仲谷正史
  • Organizer: 慶應SFC学会学術交流大会2022
• [Presentation] 数学嫌い・数学学習意欲の分析：数学教育に見る触覚性の利活用方法の考察 (2022)
  • Author(s): 木村慧, 仲谷正史
  • Organizer: 慶應SFC学会学術交流大会2022
• [Presentation] Algaphon: Transducing Human Input to Photosynthetic Radiation Parameters in Algae Timescale (2022)
  • Author(s): Harpreet Sareen, Franziska Mack and Yasuaki Kakehi
  • Organizer: ISEA2022
  • Int'l Joint Research
• [Presentation] Design of 3D-Printed Soft Sensors for Wire Management and Customized Softness (2022)
  • Author(s): Rei Sakura, Changyo Han, Keisuke Watanabe, Ryosuke Yamamura and Yasuaki Kakehi
  • Organizer: CHI EA '22: CHI Conference on Human Factors in Computing Systems Extended Abstracts
  • Int'l Joint Research
• [Presentation] Algaphon (2021)
  • Author(s): Harpreet Sareen, Franziska Mack and Yasuaki Kakehi
  • Organizer: Ars Electronica Festival 2021
  • Int'l Joint Research
• [Presentation] 3Dプリンタを利用した触感再現の研究 (2021)
  • Author(s): 長内心, 仲谷正史
  • Organizer: 第22回 計測自動制御学会 システムインテグレーション部門講演会
• [Book] デジタルファブリケーションとメディア（第3章「インタラクティブなものづくり」を執筆） (2024)
  • Author(s): 筧康明
  • Total Pages: 47
  • Publisher: コロナ社
  • ISBN: 9784339013764
• [Book] 岩波科学ライブラリー 脳がゾクゾクする不思議 ASMRを科学する (2023)
  • Author(s): 仲谷正史, 山田真司, 近藤洋史
  • Total Pages: 124
  • Publisher: 岩波書店
  • ISBN: 9784000297189
• [Book] さわるたんけんたい （月刊かがくのとも 2021年12月号） (2021)
  • Author(s): 仲谷正史(文), いしだななこ(絵)
  • Total Pages: 28
  • Publisher: 福音館書店
• [Remarks] Fluidic Painting
  • URL: https://xlab.iii.u-tokyo.ac.jp/projects/fluidicpainting/
• [Remarks] Synplant
  • URL: https://xlab.iii.u-tokyo.ac.jp/projects/synplant/
• [Remarks] BubbleTex
  • URL: https://xlab.iii.u-tokyo.ac.jp/projects/bubbletex/
• [Remarks] 3D-Printed Soft Sensors
  • URL: https://xlab.iii.u-tokyo.ac.jp/projects/3d-printed-soft-sensors/
• [Remarks] Algaphon
  • URL: https://xlab.iii.u-tokyo.ac.jp/projects/algaphon/
• [Patent(Industrial Property Rights)] Patterning Techniques for Bubble Images on Surfaces (2023)
  • Inventor(s): H.Sareen, Y.Fu, Y.Kakehi
  • Industrial Property Rights Holder: H.Sareen, Y.Fu, Y.Kakehi
  • Industrial Property Rights Type: 特許
  • Filing Date: 2023
  • Overseas
• [Patent(Industrial Property Rights)] センサおよびセンサの製造方法 (2022)
  • Inventor(s): 筧康明, 韓燦教, 佐倉玲, 渡辺啓介, 山村亮介
  • Industrial Property Rights Holder: 筧康明, 韓燦教, 佐倉玲, 渡辺啓介, 山村亮介
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2022-074664
  • Filing Date: 2022