2017 Fiscal Year Research-status Report
技能伝承のための分散協調訓練での深層学習による触力感覚再現の高度化
| Project/Area Number |
17K00493
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
浅井 紀久夫 放送大学, 教養学部, 准教授 (90290874)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高野 邦彦 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (10353260)
佐藤 誠 首都大学東京, システムデザイン研究科, 特任教授 (50114872)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 触力感覚 / インタフェース / 情報可視化 / 立体像表示 |
|---|
| Outline of Annual Research Achievements |
技能を習得するには、それに習熟した人の技術を体感する必要がある。本研究では、体感的インタラクションを通して感覚情報を交換できるようにするため、触力感覚を再現するインタフェースを構築すると共に、体感的インタラクションを共有するための視覚的臨場感を向上させる提示システムを構築する。
触力覚インタフェースでは、複数の糸に張力を与えてフィードバックを提示する仕組みを採用している。導入の容易性やコストを考慮し、三次元空間内での仮想物体どうしの接触を、二次元的な反力フィードバックで構成しており、その高精度化を図っている。また、インタフェースの利用性を改善するため、三次元形状面を二次元面に展開する可視化を行っている。
触力感覚情報を交換するには、遠隔通信による遅延を低減する必要がある。そのために、表面筋電信号から手の動作を推定する枠組みを構築している。手の動作に伴う筋電信号と、そのときの手の動きを赤外線カメラで抽出した骨格データとを対応づけて記録し、深層学習の手法を使って筋電信号から手の動きを予測する機能を実装した。その結果、単純な動作であれば、ある程度の精度で分類できることがわかった。
体感的インタラクションを情報として共有するためには、視覚的臨場感を高めることが重要である。そこで、三次元情報を立体的に提示する仕組みとして、ホログラフィック再生像を提示する方法について検討してきた。時分割多重再生法においてカラーホログラフィックを再生するため、赤、緑、青の三色光で時分割多重を行う。物体点の間隔や数を適切に調整し、良好な再生像を表示している。また、表示領域の拡大法として、空間スクリーンにホログラフィック再生像を投影することを検討している。マイクロバブルを用いて再生像を投影し、長時間安定した像を形成している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
体感的インタラクションを通して感覚情報を交換できるようにするという目的に対して、本年度は、触力覚インタフェースにおける視覚情報の可視化手法、筋電信号による手の動作の推定、三次元情報を立体的に提示するシステムの検討を計画していた。
触力感覚を再現する触力覚インタフェースでは、反力フィードバックを二次元的に与えて仮想物体同士の衝突を実現する。仮想物体は三次元構造を持っており、二次元面に展開することによりわかりやすく提示される。三次元構造を二次元面に展開するとき、展開対象の三次元形状を開いた状態にする。このとき、安定的に処理するため、手動で始点と終点を指定して切れ目を生成する手法を採用してきた。複雑な三次元構造にも対応するため、自動的に切れ目を生成しようと試みている。
筋電信号による手の動作の推定では、手の動作に伴う筋電信号と、そのときの手の動きを赤外線カメラで抽出した骨格データとを対応づけて記録するシステムを構築している。筋電信号の周波数解析結果を二次元面に構成した画像に対して深層学習の手法によって手の動きを予測する機能を構築した。手の自由な動作を高精度に予測することまではできていないが、簡単な動作であれば推定できている。
三次元情報を立体的に提示するシステムでは、ホログラフィック再生像の提示について時分割多重再生法及びマイクロバブルスクリーン投影法を検討した。時分割多重再生法でカラーホログラフィックを再生するため、赤、緑、青の三色光で時分割多重を行っている。物体点の間隔や数を調整し、良好な再生像を取得している。マイクロバブルスクリーン投影法は水中で連続的に発生させたマイクロバブルをスクリーンとして用い、長時間安定したホログラフィ再生像を形成している。
上記のように研究が進んでおり、「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
体感的インタラクションを通した感覚情報の交換を行うため、触力覚インタフェースによる触力覚提示の高度化を図る。今後も、触力感覚の提示に整合した可視化、筋電信号による動作の推定、立体像の表示といった課題に重点的に取り組む予定である。技能伝承の訓練や分散協調の検討は手薄になっているが、まず基盤となる技術を確立し、システムのプロトタイプを構築して機能等を高度化する方策を立てている。
触力感覚の提示に整合した可視化について、触力覚インタフェースとして複数の糸に張力を与えてフィードバックを与える仕組みを前提として、三次元形状の触知を支援する視覚情報の適切な提示を引き続き検討する。三次元表面を二次元面に展開することに加えて、三次元構造をどの視点で見るのが理解しやすいかといった観点を入れる。また、三次元構造との接触具合に応じた反力の発生機構を評価し、安定的にかつ高精度に触知感覚を伝える仕組みの改善を図る。
筋電信号による動作の推定では、筋電信号の周波数解析に基づく画像に対して深層学習を適用することにより手の動きを推定している。簡単な動作であれば、推定できているが、その結果の解析は不十分であり、今後詳細な解析及び考察を進めていく。その上で、現状ではデータが少なかったり、複雑な動作に対応していなかったりする問題への解決策を探る。また、深層学習のハイパーパラメータの探索やその元データとなる画像を生成する周波数解析の方法についても更なる改善を図る計画である。
立体像の表示では、視覚的臨場感を高める方策としてホログラフィック再生像の提示を引き続き検討する。時分割多重再生法でカラーホログラフィックを再生する手法、マイクロバブルスクリーンにホログラフィ再生像を投影する手法を中心に改良を進めていく。
|
| Causes of Carryover |
理由：画像計測した手形状を筋電信号の組合せから推測する機能を改良する予定であったが、要求仕様を満たすものは高額であり、本年度予算では不十分であることがわかった。そのため、これを見送り、設計を詳細に行うと共に、既存機能による結果の導出に注力した。以上により、次年度使用額が生じた。
今後の使用計画：画像計測した手形状を筋電信号の組合せから推測する機能の改良について、詳細設計に基づいて実装を進める予定である。また、改良を加えた機能を含めてシステムの利用性を評価するための評価実験を予定している。以上、次年度使用額については、適切に使用する予定である。
|
Research Products
(5 results)
