2020 Fiscal Year Annual Research Report
| Project/Area Number |
20J13208
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
長友 竜帆 慶應義塾大学, 理工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Keywords | 触覚 / 触覚センサ / 触覚ディスプレイ / 機械学習 / 深層学習 / 自然言語処理 / 液体金属 |
|---|
| Outline of Annual Research Achievements |
令和2年度は、臓器のような表面が平面ではない弾性体を安定的に剛性分布測定可能な、液体金属を用いた触覚センサの開発を計画していた。国際会議であるICEP2020において本研究の研究内容が口頭発表で受理されていたが、新型コロナウイルスの影響で本会議が中止となった。また、大学への入校が困難となったため実験室でのデバイス開発が困難になったこともあり、当初研究計画では令和3年度実施予定であった触覚センサと触覚ディスプレイのインタラクティブなシステム開発を前倒し、着手した。
触覚ディスプレイの入力信号と実物質の物理特性との関係は未解明であるため、ディープラーニングを用いて触覚ディスプレイの入力信号とヒトの触覚認知の関係を解き明かすことを目的とした。ディープラーニングにおいては大量のデータセットが必要となるが、触覚研究におけるヒトの触覚認知情報を集めるためには、被験者を使った官能評価を行わなければならず、大量に集積することは非常に困難でるため、「自然言語処理を用いて文章データから触覚情報を抽出し可視化する方法」を提案した。
申請者は文章情報から触覚情報を抽出することに成功し、これらの可視化に成功した。日本語のオノマトペは触覚の僅かな違いを反映していることがわかっているため、日本語wikipediaの大規模コーパスを学習したAIモデル（FastText）を用い、触覚にまつわるオノマトペをベクトル化した。さらに、触覚に関するオノマトペを触覚の3要素である硬さ感、湿り気感、粗さ感になぞらえて、6つの形容詞（3つの形容詞対）で写像することで可視化した。本結果は触覚分野における新たなディープラーニングの活用方法を提案し、触覚とヒトの認知の関係性を明らかにする重要な手法であると言える。
本成果は現在国際論文に投稿し、査読中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
所属期間は前期ほとんど入構できず、また、発表が採択されていた国際学会や参加を計画していた国際学会の相次ぐ中止により、当初計画していた成果を出すことができない状況となった。
研究室に入室できない状況が続いたため、当初令和3年度計画していた研究内容である「触覚センサと触覚ディスプレイのインタラクティブなシステム開発を目的とする自然言語処理を用いた文章データから触覚情報を抽出し可視化する方法」を前倒して着手した。
文章情報から触覚情報を抽出するために日本語オノマトペに着目した。これらは触覚の僅かな違いを反映しているため、本研究では日本語wikipediaの大規模コーパスを学習したAIモデル（FastText）を用い、触覚にまつわるオノマトペをベクトル化することで触覚情報を抽出できると考えたためである。さらに、触覚に関するオノマトペを触覚の三要素である硬さ感、湿り気感、粗さ感になぞらえて、6つの形容詞（3つの形容詞対）で写像することで可視化を行った。これにより文章情報から触覚情報を可視化することに成功した。文章情報から触覚情報を取得するため、研究室ではなく自宅から解析を行うことができ、新型コロナウィルスの影響下においても研究活動を進めることができた。
|
| Strategy for Future Research Activity |
申請者が目標とする「触覚センサと触覚ディスプレイのインタラクティブなシステムの開発」のために今年度は「教師なし学習による自然言語処理を用いた触覚情報の可視化手法」を確立した。来年度ではこの文章情報から得られた触覚情報を利用し触覚ディスプレイの入力情報とヒトの認知の関係をディープラーニングを用いて学習する。
触覚ディスプレイの提示できる擬似触覚は機械的に皮膚を変形させたり電気を用いて擬似的に触覚を再現しているものなど多岐にわたり、単純に触覚ディスプレイ表面の物性値を測るだけでヒトが認知する触覚と紐づけられるわけではない。そこで触覚ディスプレイに与えられる入力信号とヒトの認知をディープラーニングで学習させることによって、入力信号からヒトの認知予測ができ、また可逆的に人の触覚認知に対応する入力信号を予測できるようになる。また、ヒトの認知はテクスチャ的認知だけでなく、感情的な要因も含まれるため従来の方法では認知の分析は非常に難しかったが、申請者が今年度考案した、「教師なし学習による自然言語処理を用いた触覚情報の可視化手法」では文章情報からヒトの触覚認知を可視化することができる。そこで所属する研究室の触覚ディスプレと被験者実験のデータをデータセットとして触覚ディスプレイの入力信号とヒトの認知（を前年度の手法でベクトル化したもの）を学習させることによって触覚ディスプレイとヒトの認知の関係を明らかにする。さらに、触覚センサから得られた情報を触覚ディスプレイの入力情報に変換することで「触覚センサと触覚ディスプレイのインタラクティブなシステムの開発」を行う。
|
