2022 Fiscal Year Annual Research Report
Integrative understanding of deep SHITSUKAN recognition from visual, auditory, tactile and linguistic information
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05957
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西田 眞也 京都大学, 情報学研究科, 教授 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
上村 卓也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (10829394)
堀内 隆彦 千葉大学, 大学院工学研究院, 教授 (30272181)
坂本 真樹 電気通信大学, 大学院情報理工学研究科, 教授 (80302826)
梶本 裕之 電気通信大学, 大学院情報理工学研究科, 教授 (80361541)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Keywords | 質感 / 価値 / 情動 / リアリティ / アート |
|---|
| Outline of Annual Research Achievements |
・研究代表者の西田らは、質感情報（光学的特性）によって大きく変化する物体運動に伴うオプティカルフローが、物体変形の知覚にほとんど影響を与えないことを見出し、そのメカニズムを分析した。また、インバースレンダリングを用いた知覚的質感手がかりの研究や、DNNモデルによる画質評価モデルの心理物理学的検討、などを行った。今後使用を拡大する予定の眼球運動測定環境の整備を行った。 ・研究分担者の堀内らは、視覚系を中心とした実物の物理情報と知覚量の関係のモデル化を継続し、主に表層質感の適切な画像再現を試みた。また、視覚系に加えて、多感覚情報の統合をモデル化する研究に着手した。・研究分担者の上村らは、音認識で訓練したニューラルネットワークを用いた振幅変調検出実験のシミュレーションについて、論文を投稿した。同時に、両耳音認識でモデルを訓練するパラダイムの検討を開始した。用いるデータセットと評価関数を検討した。・研究分担者の梶本らは、触感生成にとって重要な温度感覚の提示手法を検討し、電気刺激によって冷感を明瞭に提示できることを明らかにした。また化学物質を用いた冷感と温感の提示によって痛覚を生じる錯覚現象を発見し、最適な条件を明らかにした。・研究分担者の坂本らは、革・紙・布・ガラスを対象として、各サンプルを直接 触ったまたは画像を見た際の観的な感性評価(オノマトペ)を得る被験者実験を実施した。触覚実験では、素材を目視せず、利き手の人差し指の腹で各素材をなぞ るという方法で、視覚実験では、蛍光灯照明下で，机の上に置かれたタブレットコンピュータに映し出された画像を，15cm程度離れた座席で見るという方法で あった。50名の被験者が実験に参加し，1サンプルあたりn=25のデータを収集した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
西田チームでは、人間が質感（光学的特性）の違いを乗り越えて運動物体の変形を安定して知覚できることの実験的な証拠が十分に集まった。そのほか、質感関係の研究が複数進行している。さらに、佐藤いまり班や渡辺義浩班との共同研究も開始した。分担研究者のチームでも順調に研究が進み、多くの研究成果が発表された。
|
| Strategy for Future Research Activity |
・研究代表者の西田は、視覚と触覚の深奥質感処理を研究する。来年度 は、光学的質感が物体運動知覚に与える影響の検討、視覚と触覚の空間質感情報認識の比較、プロジェクションマッピングによって生じる時間 のずれが生み出す違和感検出のメカニズムのモデル化などを進める。 ・研究分担者の堀内は、これまで実施してきた視覚系を中心とした実物の物理情報 と知覚量の関係のモデル化を、多感覚情報の統合に発展させる。 ・研究分担者の梶本は、人肌質感の再現の一環として人肌同士が接触した際の温度変化の記録再現に取り組む。またこれまでに発見した化学 物質を用いたサーマルグリル錯覚を発展させ、物理的温度提示との融合を図る。さらに簡便なウェアラブル装置による多指触感提示を実現する 。・研究分担者の坂本は、これ度までに、人工皮革(95種)、紙(52種)、布(106種)、ガラス(34種)について、触覚・視覚の印象をオノ マトペで表現する実験データを取得してきた。これからは、質感サンプルを増やしながら同様の実験を継続するとともに、得られたデータでオ ノマトペから素材推薦や新素材開発を可能にするシステム開発を行う。 ・研究分担者の上村は、引き続き、自然な音環境認識のために訓練された人工神経回路 を聴覚系のモデルと見立てる。音源の質感知覚に重要な特徴である振幅変調に着目し、変調への感度を、音認 識で訓練した人工神経回路と人間で比較する。このため、両者に変調検出の心理物理実験を行う。
|
