| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05957
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (A)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (IV)
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西田 眞也 京都大学, 情報学研究科, 教授 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
上村 卓也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (10829394)
堀内 隆彦 千葉大学, 大学院情報学研究院, 教授 (30272181)
坂本 真樹 電気通信大学, 大学院情報理工学研究科, 教授 (80302826)
梶本 裕之 電気通信大学, 大学院情報理工学研究科, 教授 (80361541)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥117,910,000 (Direct Cost: ¥90,700,000、Indirect Cost: ¥27,210,000)
Fiscal Year 2024: ¥19,760,000 (Direct Cost: ¥15,200,000、Indirect Cost: ¥4,560,000)
Fiscal Year 2023: ¥21,580,000 (Direct Cost: ¥16,600,000、Indirect Cost: ¥4,980,000)
Fiscal Year 2022: ¥21,580,000 (Direct Cost: ¥16,600,000、Indirect Cost: ¥4,980,000)
Fiscal Year 2021: ¥20,150,000 (Direct Cost: ¥15,500,000、Indirect Cost: ¥4,650,000)
Fiscal Year 2020: ¥34,840,000 (Direct Cost: ¥26,800,000、Indirect Cost: ¥8,040,000)
|
|---|
| Keywords | 質感 / 視覚 / 触覚 / 聴覚 / オノマトペ / 価値 / 情動 / リアリティ / アート |
|---|
| Outline of Research at the Start |
質感情報は物理的な光や振動を通して人間に伝えられ、視覚・聴覚・触覚などの感覚モダリティで処理され、一部は言語に変換される。この質感情報処理全体を統一的な視点で解析することにより、人間の深奥質感処理に迫る。多感覚情報を統合して実物の質感を認識する仕組みと、感覚モダリティ間の質感情報処理における相同性と独自性に注目し、質感を含む複数属性の知覚的整合性に基づく脳内外界モデルの特性の推定、実物の質感がもつリアリティを生み出す心理的・生理的要因の解明、人工神経回路と人間の比較による自然音質感の認識機構の分析、実物の多様な触感の再現、などを目指した研究を行う。
|
| Outline of Annual Research Achievements |
・研究代表者の西田らは、 動的な照明環境においても人間が質感(光学的特性)の違いを乗り越えて運動物体の変形を安定して知覚できることを見出し、生成モデルによる予測に基づく変形知覚の可能性を否定した。また、光沢や透明物体の動きの知覚が二次運動知覚の基盤である可能性を示した。佐藤いまり班や渡辺義浩班との共同研究も進めた。
・研究分担者の堀内らは、視覚系を中心とした実物の物理情報と知覚量の関係のモデル化を、表層質感からさらに高次の高級感などへと発展させた。また、視覚系に加えて、嗅覚との多感覚情報の統合のモデル化を継続した。
・研究分担者の上村らは、音の分類で訓練した計算モデルを用いた振幅変調検出実験のシミュレーション研究について、論文を発表した。モデルを両耳音入力に拡張し、両耳音分類で訓練したモデルについて両耳間時間差チューニングを計算した。両耳音による音源定位で訓練したモデルについても同様の検討を開始した。
・研究分担者の梶本らは、化学物質を用いた冷感提示の特性を詳細に検討し、コンパクトな提示装置を実現した。またリアルなテクスチャ感を実現するための回転円盤を用いた機構を提案し有効性を検証した。
・研究分担者の坂本らは、オンラインの商品レビュー中に含まれる質感情報が購買意欲に与える影響を調べる被験者実験を実施した。ChatGPTを利用し、同じ商品画像に対して質感情報を含むレビューと含まないレビューを生成し、それぞれの購買意欲を7段階で評価してもらった。その結果、質感情報を含むレビューの方が優位に購買意欲が高いことがわかった。また、香りの質的表現にオノマトペが活用できるか確認するため、56種類の精油の香りを一つずつ嗅ぎ、想起されたオノマトペをそれぞれ回答してもらう実験を行った。その結果、257語のオノマトペを収集することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
西田チームでは、人間が質感(光学的特性)の違いを乗り越えて運動物体の変形を安定して知覚できることの実験的な証拠が十分に集まった。そのほか、質感関係の研究が複数進行している。さらに、深奥質感領域内の共同研究も進んだ。分担研究者のチームでも順調に研究が進み、多くの研究成果が発表された。
|
| Strategy for Future Research Activity |
・研究代表者の西田は、ポスドクのYung-Hao Yang、研究協力者の黒木忍(NTT)らの協力を得て、視覚の深奥質感情報処理、および視覚と触覚の 深奥質感処理の関係を研究する。今年度は、質感情報(光学的特性)が形状変形の推定に与える影響、インバースレンダリングを使った質感操作 、表面色知覚の個人差、人の動きの質感評価、動きの質感に与えるフレームレートの影響、触覚の空間情報処理特性の検討を進め、成果を取りまとめる。
・研究分担者の上村は、昨年度に引き続き、古川茂人(静岡社会健康医学大学院大学)・寺島裕貴(NTT)らの協力を得て、自然な音環境認識の ために訓練された人工神経回路を聴覚系のモデルと見立てる。モデル構築用データに残響や背景ノイズを加え、空間の質感が両時間時間差チュ ーニングの形成へ与える影響を検討する。
・研究分担者の堀内は、田中緑(千葉大・公募班)、渡辺修平(リコー)らの協力を得て、昨年度まで実施してきた視覚系を中心とした実物の 物理情報と知覚量の関係のモデル化を、さらに高次の情動系へと発展させる。また、触覚や嗅覚などの多感覚情報の統合に発展させる。
・研究分担者の坂本は、生成AIに投稿した画像の質感に類似した画像を再生成可能にするプロンプトについて、手触りを表すオノマトペを活用 しながら開発する。アートでの応用の可能性も含め検討する。
・研究分担者の梶本は、人肌よりも環境温度が高い場合の物体の材料識別能力を解明し、温度感覚による材質感の記録再現に取り組む。また昨 年度までの多指触感提示装置に広帯域な振動提示機能を付与し、ウェアラブルな触感提示装置の決定版を構築する。
|
