2023 Fiscal Year Annual Research Report
Integrative understanding of deep SHITSUKAN recognition from visual, auditory, tactile and linguistic information
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05957
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西田 眞也 京都大学, 情報学研究科, 教授 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
堀内 隆彦 千葉大学, 大学院情報学研究院, 教授 (30272181)
梶本 裕之 電気通信大学, 大学院情報理工学研究科, 教授 (80361541)
坂本 真樹 電気通信大学, 大学院情報理工学研究科, 教授 (80302826)
上村 卓也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (10829394)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Keywords | 質感 / 価値 / 情動 / リアリティ / アート |
|---|
| Outline of Annual Research Achievements |
・研究代表者の西田らは、 動的な照明環境においても人間が質感(光学的特性)の違いを乗り越えて運動物体の変形を安定して知覚できることを見出し、生成モデルによる予測に基づく変形知覚の可能性を否定した。また、光沢や透明物体の動きの知覚が二次運動知覚の基盤である可能性を示した。佐藤いまり班や渡辺義浩班との共同研究も進めた。
・研究分担者の堀内らは、視覚系を中心とした実物の物理情報と知覚量の関係のモデル化を、表層質感からさらに高次の高級感などへと発展させた。また、視覚系に加えて、嗅覚との多感覚情報の統合のモデル化を継続した。
・研究分担者の上村らは、音の分類で訓練した計算モデルを用いた振幅変調検出実験のシミュレーション研究について、論文を発表した。モデルを両耳音入力に拡張し、両耳音分類で訓練したモデルについて両耳間時間差チューニングを計算した。両耳音による音源定位で訓練したモデルについても同様の検討を開始した。
・研究分担者の梶本らは、化学物質を用いた冷感提示の特性を詳細に検討し、コンパクトな提示装置を実現した。またリアルなテクスチャ感を実現するための回転円盤を用いた機構を提案し有効性を検証した。
・研究分担者の坂本らは、オンラインの商品レビュー中に含まれる質感情報が購買意欲に与える影響を調べる被験者実験を実施した。ChatGPTを利用し、同じ商品画像に対して質感情報を含むレビューと含まないレビューを生成し、それぞれの購買意欲を7段階で評価してもらった。その結果、質感情報を含むレビューの方が優位に購買意欲が高いことがわかった。また、香りの質的表現にオノマトペが活用できるか確認するため、56種類の精油の香りを一つずつ嗅ぎ、想起されたオノマトペをそれぞれ回答してもらう実験を行った。その結果、257語のオノマトペを収集することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
西田チームでは、人間が質感(光学的特性)の違いを乗り越えて運動物体の変形を安定して知覚できることの実験的な証拠が十分に集まった。そのほか、質感関係の研究が複数進行している。さらに、深奥質感領域内の共同研究も進んだ。分担研究者のチームでも順調に研究が進み、多くの研究成果が発表された。
|
| Strategy for Future Research Activity |
・研究代表者の西田は、ポスドクのYung-Hao Yang、研究協力者の黒木忍(NTT)らの協力を得て、視覚の深奥質感情報処理、および視覚と触覚の 深奥質感処理の関係を研究する。今年度は、質感情報(光学的特性)が形状変形の推定に与える影響、インバースレンダリングを使った質感操作 、表面色知覚の個人差、人の動きの質感評価、動きの質感に与えるフレームレートの影響、触覚の空間情報処理特性の検討を進め、成果を取りまとめる。
・研究分担者の上村は、昨年度に引き続き、古川茂人(静岡社会健康医学大学院大学)・寺島裕貴(NTT)らの協力を得て、自然な音環境認識の ために訓練された人工神経回路を聴覚系のモデルと見立てる。モデル構築用データに残響や背景ノイズを加え、空間の質感が両時間時間差チュ ーニングの形成へ与える影響を検討する。
・研究分担者の堀内は、田中緑(千葉大・公募班)、渡辺修平(リコー)らの協力を得て、昨年度まで実施してきた視覚系を中心とした実物の 物理情報と知覚量の関係のモデル化を、さらに高次の情動系へと発展させる。また、触覚や嗅覚などの多感覚情報の統合に発展させる。
・研究分担者の坂本は、生成AIに投稿した画像の質感に類似した画像を再生成可能にするプロンプトについて、手触りを表すオノマトペを活用 しながら開発する。アートでの応用の可能性も含め検討する。
・研究分担者の梶本は、人肌よりも環境温度が高い場合の物体の材料識別能力を解明し、温度感覚による材質感の記録再現に取り組む。また昨 年度までの多指触感提示装置に広帯域な振動提示機能を付与し、ウェアラブルな触感提示装置の決定版を構築する。
|
