Integrative understanding of deep SHITSUKAN recognition from visual, auditory, tactile and linguistic information
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05957
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (A)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (IV)
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西田 眞也 京都大学, 情報学研究科, 教授 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
上村 卓也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 研究員 (10829394)
堀内 隆彦 千葉大学, 大学院工学研究院, 教授 (30272181)
坂本 真樹 電気通信大学, 大学院情報理工学研究科, 教授 (80302826)
梶本 裕之 電気通信大学, 大学院情報理工学研究科, 教授 (80361541)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥117,910,000 (Direct Cost: ¥90,700,000、Indirect Cost: ¥27,210,000)
Fiscal Year 2022: ¥21,580,000 (Direct Cost: ¥16,600,000、Indirect Cost: ¥4,980,000)
Fiscal Year 2021: ¥20,150,000 (Direct Cost: ¥15,500,000、Indirect Cost: ¥4,650,000)
Fiscal Year 2020: ¥34,840,000 (Direct Cost: ¥26,800,000、Indirect Cost: ¥8,040,000)
|
|---|
| Keywords | 質感 / 視覚 / 触覚 / 聴覚 / オノマトペ / 価値 / 情動 / リアリティ / アート |
|---|
| Outline of Research at the Start |
質感情報は物理的な光や振動を通して人間に伝えられ、視覚・聴覚・触覚などの感覚モダリティで処理され、一部は言語に変換される。この質感情報処理全体を統一的な視点で解析することにより、人間の深奥質感処理に迫る。多感覚情報を統合して実物の質感を認識する仕組みと、感覚モダリティ間の質感情報処理における相同性と独自性に注目し、質感を含む複数属性の知覚的整合性に基づく脳内外界モデルの特性の推定、実物の質感がもつリアリティを生み出す心理的・生理的要因の解明、人工神経回路と人間の比較による自然音質感の認識機構の分析、実物の多様な触感の再現、などを目指した研究を行う。
|
| Outline of Annual Research Achievements |
・研究代表者の西田らは、視覚と触覚の深奥質感処理の比較、および多感覚の深奥質感への情報統合を研究するために、まず、画像レンダリング用のGPUワークステーションや心理物理実験用の視覚刺激測定装置を購入した。また、人間が脳内に構築する外界モデルの特性を検討するために、質感情報（光学的特性）が他の成分（運動速度）の推定に与える影響の検討に着手した。
・研究分担者の堀内らは、実験関連部品の製作などに必要となる小型の3Dプリンタなどを購入すると共に、照明の多様性が表層質感に与える影響を解析し、実物の物理情報と知覚量の関係をモデル化する研究に着手した。
・研究分担者の上村らは、シミュレーション用のGPUを購入した。自然な音環境認識のために訓練された人工神経回路を聴覚系のモデルと見立て、音源の質感知覚に重要な特徴である振幅変調に着目し、変調への感度を、音認識で訓練した人工神経回路と人間で比較する研究に着手した。
・研究分担者の梶本らは、測定用のサーモカメラなどを購入するとともに、人工人肌に振動等を重畳することでテクスチャ感を変調する手法を高精度化し、幅広い人肌質感を再現する研究に着手した。
・研究分担者の坂本らは、実物－物理量－知覚量－感性言語（オノマトペ）を組み合わせた質感データベースの拡充を行うための準備として、合成皮革のサンプルデータセットの仕様を策定し業者に特注した。この作業が業者の都合で年度内完了が間に合わなかったために、翌年度に予算を繰り越し、令和３年9月に完了した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
採択が11月で、そこから年度末までの期間が非常に短かったが、一部の特注作業を除けば必要な物品の購入などの準備は完了し、予定していた研究にも着手できた。
|
| Strategy for Future Research Activity |
各サブチームとも、令和2年度に立ち上げた研究を継続する。
西田サブチームはコロナウィルス感染症拡大の影響で来日が遅れているポスドクの入国を待って、質感情報（光学的特性）が運動速度の推定に与える影響のみならず、形状変形の検出に与える影響の検討を開始する。
|
Report
(1 results)
Research Products
(5 results)
