2017 Fiscal Year Annual Research Report
Visual, auditory and tactile SHITSUKAN recognition mechanisms based on signal modulations
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05915
|
|---|
| Research Institution | NTT Communication Science Laboratories |
|---|
Principal Investigator |
西田 眞也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古川 茂人 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (90396169)
鈴木 匡子 東北大学, 大学院医学系研究科, 教授 (20271934)
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | 質感 / 情報工学 / 認知科学 / 神経科学 / 感性情報学 |
|---|
| Outline of Annual Research Achievements |
ものの質感の情報がものと環境と観察者の相互作用が生み出す感覚信号の複雑な変調のパタンの中に含まれるという考えに基づいて、視・聴・触覚の多様な質感を生み出す変調情報の特定と、その変調情報の抽出処理メカニズムの同定を目指して研究を進めている。
視覚と触覚を担当する代表の西田チームでは、物体表面質感と物体形状を同時推定する視覚計算の原理に関する仮説を提案し、立体眼鏡無しで見たときにボケを生じない新方式の両眼立体視を開発した。触覚運動の検出機構の分析や、主観的な触り心地を触行動から評価する研究を進めた。
聴覚を担当する分担者の古川チームでは、環境音や音声のデータベースを用い、その処理に最適化された深層ニューラルネットワークが、、聴覚系の神経細胞と同様な特性を持つことを明らかにした。これは聴覚系が自然音を効率的に処理するために最適化されたことを示唆する。このほか、室内残響への聴覚系の短期的な適応に関する昨年度の研究を発展させた。
質感認知の臨床研究を進める分担者の鈴木チームでは、レビー小体型認知症（DLB）およびアルツハイマー型認知症（AD）の視覚性質感認知について検討した。その結果、DLB、ADともに、他の視覚機能とは独立して視覚性質感認知が障害されることが明らかになった。障害を認め、特にDLBでは認知症のごく初期から視覚性質感認知障害を認め、診断の一助になる可能性が示された。
分担者の柳井チームでは、Convolutional Neural Networkを用いた質感変換技術とその応用について、昨年度に引き続き取り組んだ。特に、言葉によって画像の質感を変化させるネットワークおよび、食事画像を異なる10種類の食事に変換する画像変換ネットワークについて重点的に研究を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
プロジェクションマッピングによる実物の質感操作の研究が、まったく新しい両眼立体視の提示方法の開発に繋がった。濡れ具合の操作、解像度以下の細かさの操作、質感と形状の同時操作、触覚運動などに関して、順調に論文が公刊された。古川チームで進めた機械学習技術による聴覚生理メカニズムへのアプローチは、他班との交流に触発された結果生まれた新しい研究パラダイムである。鈴木チームも、質感認識の臨床研究のパイオニアとして、重要な論文を公刊した。柳井グループは、限定された語彙での言葉による画像の質感を変化させる方法、および形状が互いに類似している丼物同士で食事の種類を自由に変える方法を実現した。
|
| Strategy for Future Research Activity |
西田チームは、表面反射特性と形状の同時推定のメカニズムについての検討を継続するとともに、深層学習を用いた質感認識メカニズムの推定、クラウドソーシングを用いた大規模心理実験、視覚メカニズムとの対比による触覚メカニズムの解析を進める。視覚や触覚による質感認識に関して得られた科学的知見を新しいメディア技術の開発につなげる。
古川チームは、これまでに当班で作成してきたバイノーラル環境音データベース、および、前年度に進展した機械学習技術に基づく聴覚神経科学研究を組み合わせて、両耳メカニズム解明に向けて発展させる。
鈴木チームは、AD,DLBの触覚性質感認知についても検討を進め、視覚性質感認知との関連を明らかにする。また、DLBと病態的に連続するパーキンソン病において、視覚性および触覚性質感認知がどう変化するかを調べる。以上を統合することにより、大脳の後方が主として損傷される認知症における質感認知とその障害のメカニズムを明らかにする。
柳井チームは、昨年度までの言葉によって画像の質感を変化させるネットワークの研究では学習データ量が限られており、画像変換語彙が限定されていたという問題点があったので、本年度はWeb画像収集を大規模に行い多様な語彙に対応可能な変換ネットワークの実現を目指す。また、食事画像変換に関しては，形状が類似した食事種類のみの変換ではなく，形状が異なる食事同士や食事の量、見た目の美味しさなど様々な属性に関して自由な変換ができるような方法および必要なデータセットの構築を行う予定である。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Scene Text Eraser2017
Author(s)
Toshiki Nakamura, Anna Zhu, Keiji Yanai,and Seiichi Uchida
Organizer
_International Conference on Document Analysis and Recognitino (ICDAR)_
Int'l Joint Research
-
-
-
-
-
-
-
-
