2018 Fiscal Year Annual Research Report
Visual, auditory and tactile SHITSUKAN recognition mechanisms based on signal modulations
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05915
|
|---|
| Research Institution | NTT Communication Science Laboratories |
|---|
Principal Investigator |
西田 眞也 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (20396162)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古川 茂人 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (90396169)
鈴木 匡子 東北大学, 医学系研究科, 教授 (20271934)
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | 質感 / 情報工学 / 認知科学 / 神経科学 / 感性情報学 |
|---|
| Outline of Annual Research Achievements |
視覚および触覚を担当する西田チームでは、液体動画の粘性判断を人工ネットワークに学習させて、人間と近いエラーパタンを示すことを確認したのち、その内部表現の分析を進め、質感認識のメカニズムに関するさまざまな洞察を得た。自然画像パタンを刻印した触覚テスクチャの弁別能力を検討し、視覚の場合と異なり触覚のテクスチャ知覚は低次の統計量だけで説明できることを明らかにした。
聴覚を担当する分担者の古川チームでは、前年度に引き続き、環境音や音声の処理に最適化された深層ニューラルネットワークと聴覚神経系の比較を行った。特に今年度では、バイノーラル信号を入力とするニューラルネットにも、聴覚神経細胞にも見られるような両耳間時間差チューニングが発現することを発見した。これは、人工ニューラルネットを用いた神経科学研究パラダイムの有効性を確認するものである。このほか、室内残響への聴覚系の短期的な適応に関する昨年度の研究を発展させた。
分担者の鈴木チームは、昨年度までにレビ－小体型認知症では質感認知障害を認めることを明らかにしていたが、今年度はその類縁疾患であるパーキンソン病において質感認知を検討した。その結果、パーキンソン病においても特に軽度認知障害を伴う場合には、質感認知も障害されることが明らかになった。
分担者の柳井チームでは、Convolutional Neural Networkを用いた質感変換技術とその応用について引き続き取り組んだ。特に食事画像を他の食事に変換する画像変換に関しては、公募の東大鳴海班と共同でＶＲに応用し、実際に食べている物の見た目をリアルタイムで変換することで、味覚にも影響を及ぶことを実証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
深層学習を用いた質感メカニズムの解析というプロジェクト後半の目的に沿った研究が大きく進展した。西田チームでは深層学習を用いた質感認識メカニズムの解析手法が大きく進んだ。古川チームで進めた機械学習技術による聴覚生理メカニズム解明に向けたアプローチについては、研究パラダイムとしてのその有効性を示す知見を着実に蓄積し、論文等も順調に公刊されている。鈴木チームでは、パーキンソン病に関する質感研究の学会発表、論文化を進めている。レビ－小体型認知症の触覚性質感認知についての検討も引き続き行っている。柳井チームでは、言葉による質感変換、食事画像の変換を実現し、その応用スマートフォンアプリMagicalBowlCamをiOSアプリストアで公開した。
|
| Strategy for Future Research Activity |
西田の異動に伴い、西田チームは、NTTで継続的に研究を進めるとともに、京都大学でも並行して研究を進めることのできる体制を早急に確立し、5年間の研究を取りまとめる。古川チームは、これまでにすすめてきた機械学習技術ベースの聴覚神経科学研究を発展させ、両耳メカニズム解明に向けた精密な検討をおこなう。また、ヒトの知覚における心理物理学的現象とニューラルネットにおける刺激内部表現との対応関係にも着目し、生理学・心理学の両分野も含めた、聴覚系の総合的な理解を進める。鈴木チームは、レビ－小体型認知症の触覚性質感認知についての検討を進め、視覚性質感認知との関連を明らかにする。また、坂本班との共同研究として、視覚性素材刺激を用いて質感を表現するオノマトペの検討を開始している。対象はレビ－小体型認知症、アルツハイマー型認知症、原発性進行性失語症などの神経変性疾患で、これまでの素材の視覚性、触覚性質感認知との関連も考察できると考えている。柳井チームは、今後、食事変換のカテゴリの変換に加えて、量、トッピングや見た目のおいしさや味などの多様な食事画像変換の実現に向けて、データセットの整備及び手法の確立を行っていく予定である。
|
