2016 Fiscal Year Annual Research Report
Visual, auditory and tactile SHITSUKAN recognition mechanisms based on signal modulations
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05915
|
|---|
| Research Institution | NTT Communication Science Laboratories |
|---|
Principal Investigator |
西田 眞也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古川 茂人 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (90396169)
鈴木 匡子 山形大学, 大学院医学系研究科, 教授 (20271934)
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | 質感 / 情報工学 / 認知科学 / 神経科学 / 感性情報学 |
|---|
| Outline of Annual Research Achievements |
ものの質感の情報がものと環境と観察者の相互作用が生み出す感覚信号の複雑な変調のパタンの中に含まれるという考えに基づいて、視・聴・触覚の多様な質感を生み出す変調情報の特定と、その変調情報の抽出処理メカニズムの同定を目指して研究を進めている。
視覚に関しては、動的変形による透明層の知覚、輝度や色の統計量に基づく濡れの知覚、画像コントラストに基づく閾下の細かさの知覚、眼鏡無しで見たときにボケを生じない新方式の両眼立体視といったテーマで研究が進んだ。また、数百名規模のクラウドソーシングのワーカーがiPadなどの手持ちの装置を使って基本的な視覚能力や心理物理実験を行うというインターネットを使った大規模実験を行った。この実験から、基本的な質感認識テストを選定し、その標準的な反応データをセットとすることで、異なる観察者集団の質感知覚能力を評価できるようにする。
触覚に関しては、物を触っている手の動きの光点運動だけを見た観察者が触った感覚をどれほど推定できるかを明らかにするとともに、触覚運動の知覚メカニズムに関する解析を進めた。
聴覚担当の分担者の古川のグループは、バイノーラルの環境音のデータベースの作成を継続している。また、音響的な質感判断のメカニズムを理解するため、環境によって変化する残響特性が打撃音からの材質判断に与える影響や、残響環境における音声信号の最適符号化と人間の聴覚メカニズムとの関係を明らかにした。
臨床担当の分担者の鈴木のグループは、アルツハイマー型認知症(AD)、レビ ー小体型認知症(DLB)という二つの神経変性性認知症において、視覚の基本的機能および質感認知機能)を検討し、その違いを明らかにした。
分担者の柳井のグループは、Convolutional Neural Networkを用いたスタイル（質感）変換技術とその応用に取り組んだ。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
視覚、触覚、聴覚、臨床、インターネットを活用した質感研究のすべてにわたって、順調に研究が進んだ。特に、インターネットを使った大規模心理実験で得られた質感刺激とその認知特性のデータベースの第一弾が完成し、２月の班会議で領域内で公表後、領域内から多くの利用提案の声が上がっている。また、質感編集のための拡張現実技術の開発の中から偶発的に生まれた新方式のステレオ画像作成法は、単純で広範囲の利用が可能な革新的な技術である。インターネットを活用した質感研究に関しても、質感編集技術（CNNを用いたスタイル変換）という新しい方向性で目覚ましい成果が上がっている。
|
| Strategy for Future Research Activity |
視覚に関しては、これまでに実験室実験およびクラウドソーシングを利用して収集した人間の質感認識データをデータベースとして領域内で活用するとともに、追加の実験を行い、その規模を拡大する。透明および半透明の物体に関する視覚認識のメカニズムを更に解析する。眼鏡無しで見たときにボケを生じない新しいステレオ提示方法の開発を進める。触覚に関しては、動きの知覚メカニズムの解明を進める。
聴覚に関しては、前年度に作成したものを含む環境音のデータベースを基に、聴覚生理機構の機能モデルなどを用いて、環境音に含まれる音響特徴量の統計的な性質を分析し、その神経表現を推定する。また、前年度の研究では、材質知覚に及ぼす室内音響（残響）の影響を軽減するような知覚メカニズムの存在が示唆されたが、今年度は、そのメカニズムの特性を明らかにするための実験・分析を行う。
臨床研究に関しては、これまでのiPadを用いた視知覚、質感認知の検討に加え、光沢の強さや鋭さ、透明感の認知について健常群、脳損傷者群で検査を行い、質感認知への影響を解析する。また、超高齢社会における質感認知を知るために、80歳以上の高齢者を含む健常群において、視覚性だけでなく、触覚性質感認知がどのように変化するかを明らかにし、脳損傷者との比較を試みる。
画像データ研究に関しては、昨年度実施した畳み込みネットを用いた画像の質感操作を発展させ、言葉で画像の質感を操作する技術の実現を目指す。そのために、まず、多数の質感語に対応したWeb画像の代表テクスチャパッチ抽出を行い質感テクスチャDBを構築する。さらにテクスチャ画像合成技術も利用して、任意の質感語に対応した基本テクスチャ画像を生成し、質感転移技法と統合し、言葉による質感操作を実現する。
|
