2019 Fiscal Year Research-status Report
技能伝承のための分散協調訓練での深層学習による触力感覚再現の高度化
| Project/Area Number |
17K00493
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
浅井 紀久夫 放送大学, 教養学部, 教授 (90290874)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高野 邦彦 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (10353260)
佐藤 誠 首都大学東京, システムデザイン研究科, 特任教授 (50114872)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 触力感覚 / インタフェース / 情報可視化 / 立体像表示 |
|---|
| Outline of Annual Research Achievements |
技能を習得するには、それに習熟した人の技術を体感する必要がある。本研究では、体感的インタラクションを通して感覚情報を交換できるようにするため、触力感覚を再現するインタフェースを構築すると共に、体感的インタラクションを共有するための提示システムの視覚的臨場性を改善する。
触力覚インタフェースで触力覚情報を円滑に交換するには、遠隔通信による遅延を低減する必要がある。そのために、表面筋電信号から手の動作を推定する枠組みを組み入れる。手の動作に伴う筋電信号と、そのときの手の動きを赤外線カメラで抽出した骨格データとを対応づけ、深層学習の手法を使って筋電信号から手の動きを予測する機能を実装した。
筋電信号は時系列データであるため、ニューラルネットワークとしてLSTM（長短記憶）を採用することを考え、出力として手の動きの状態をbinary信号として割り当てることにした。LSTMの学習には時間がかかることが懸念され、その処理負荷の軽減を検討した。隠れ層における出力とリカレント項の役割を考察し、LSTMの派生型ネットワークについて隠れ層重み行列の簡略化を図り、損失関数値の収束が促進されることを確認した。
視覚的臨場感を高めるために、三次元情報を立体的に提示する仕組みとしてホログラフィック再生像について検討した。フォグを空間スクリーンに利用する表示法では、表示像の揺らぎが問題となっていた。これに対してフォグを容器内に閉じ込め、表示像のフリッカ軽減と解像度向上を実現した。また、面状物体を表現する方法として時分割再生法を採用し、青紫色光での像再生の画質改善を試みた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
体感的インタラクションを通して感覚情報を交換できるようにするという目的に対して、本年度は昨年度に引き続き、触力覚インタフェースの筋電信号による手の動作の推定モデルの高度化と、三次元情報を立体的に提示するシステムの改善に取り組んだ。
手の動きに伴う筋電信号を複数チャネルで計測し、その信号強度を濃淡領域として組み合わせて1つの画像を構成し、畳込みニューラルネットワークの入力データとして学習する仕組みを採用してきた。一方、筋電信号は時系列データであるため、LSTMの方が適合すると考えた。しかし、処理負荷が高いことが懸念されたため、ネットワークの簡略化を図り、処理負荷の低減を検討した。
立体像表示システムの改善では、空間投影法における立体像の安定性に課題があった。立体像のフリッカ現象を低減するため、フォグを空間スクリーンに採用した。フォグを容器内に閉じ込める対策を施し、立体像の光学的特性や投影像特性を改善する結果を得た。また、点数の多い面状物体や立体図形の再生が難しい問題に対して、時分割多重再生法を適用することによりその解決策を示した。
本研究課題の遂行の最終段階で、新型コロナの影響で評価環境の構築及び研究発表予定会議の延期が行われた。しかし、本年度に予定していた、触力覚インタフェースの筋電信号による手の動作の推定モデルの高度化と、三次元情報を立体的に提示するシステムの改善は実施された。
上記のように研究が進んでおり、「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
触力覚インタフェースで表面筋電信号から手の動作を推定する機能について評価環境を構築した上で評価を実施し、その結果を発表する。
|
| Causes of Carryover |
次年度使用額が生じた理由：触力覚インタフェースで表面筋電信号から手の動作を推定する機能について評価し、その結果を発表する予定であったが、新型コロナの影響で評価環境の構築及び会議の延期が行われた。これに伴い、評価と発表を見送った。以上により、次年度使用額が生じた。
今後の使用計画：今年度の結果に基づいて筋電信号から手形状を推測する機能の高度化について評価し、国際会議等で発表する予定である。以上、次年度使用額については、適切に使用する予定である。
|
