2018 Fiscal Year Research-status Report
技能伝承のための分散協調訓練での深層学習による触力感覚再現の高度化
| Project/Area Number |
17K00493
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
浅井 紀久夫 放送大学, 教養学部, 教授 (90290874)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高野 邦彦 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (10353260)
佐藤 誠 首都大学東京, システムデザイン研究科, 客員教授 (50114872)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | インタフェース / 情報可視化 / 触力感覚 / 立体像表示 |
|---|
| Outline of Annual Research Achievements |
技能を習得するには、それに習熟した人の技術を体感する必要がある。本研究では、体感的インタラクションを通して感覚情報を交換できるようにするため、触力感覚を再現するインタフェースを構築すると共に、体感的インタラクションを共有するための視覚的臨場感を向上させる提示システムを構築する。
触力覚インタフェースで触力感覚情報を交換するには、遠隔通信による遅延を低減する必要がある。そのために、表面筋電信号から手の動作を推定する枠組みを構築している。手の動作に伴う筋電信号と、そのときの手の動きを赤外線カメラで抽出した骨格データとを対応づけて記録し、深層学習の手法を使って筋電信号から手の動きを予測する機能を実装してきた。
畳み込みニューラルネットワークの入力データとしてどんな特徴量を選択するかは自由度がある。そこで、腕の周りの筋電信号を複数チャネルで計測し、その信号強度を濃淡として組み合わせた画像を入力データとして学習を行った。その結果、筋電信号計測デバイスを着脱せずに学習と評価を行えば、90%程度の精度が得られることがわかった。
体感的インタラクションを共有するためには、視覚的臨場感を高めることが重要である。そこで、三次元情報を立体的に提示する仕組みとして、ホログラフィック再生像について検討してきた。空間投影による立体像表示では、大きなサイズの立体像を広い視野で観察できる。しかし、空間投影型ではカラー化が難しく、特に青色光での再生像の再現性がよくなかった。そこで、青紫色光を導入し、青色光での再生像の特性改善を図った。その結果、立体像の再生可能な色範囲を拡大できることが示された。また、全方向視差で立体像を表示するため、空間スクリーンとしてフォグを利用し、散乱光強度の変動に伴うチラツキの低減を図った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
体感的インタラクションを通して感覚情報を交換できるようにするという目的に対して、本年度は、触力覚インタフェースの筋電信号による手の動作の推定モデルの高度化、三次元情報を立体的に提示するシステムの改善と触力覚情報との相互連携を計画していた。
筋電信号による手の動作の推定では筋電信号が動作に先立って変化するため、触力感覚情報の交換を遠隔で行う際の遅延低減に貢献する。手の動きに伴う筋電信号を複数チャネルで計測し、その信号強度を濃淡領域として組み合わせて1つの画像を構成した。これを畳み込ニューラルネットワークの入力データとして学習すると、データの数は多くないものの、90%程度の精度で手の開閉を判定できた。これまでは入力画像として筋電信号を周波数変換した結果を二次元面に構成していたが、単純な信号強度でも動作することがわかった。
三次元情報を立体的に提示するシステムの改善と触力覚情報との相互連携では後者の検討には至らなかったものの、立体像表示システムの改善では空間投影での立体像の色の再現性及び空間スクリーンの立体像の安定性について進展が見られた。空間投影による立体像表示ではカラー化の課題があった。特に青色光の知見は少なく、その像特性は不十分であった。青紫色レーザ光を利用することにより、カラー像の色域の拡張が可能になることが示された。また、空間スクリーンの立体像の提示を安定化することが一つの課題であった。これに対して空間スクリーン媒体としてフォグを用いて散乱光強度の変動に伴うチラツキを軽減し、光学的特性の改善が見込めることがわかった。
上記のように研究が進んでおり、「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
触力感覚を再現するインタフェースの構築、体感的インタラクションを共有するための視覚的臨場感を向上させる提示システムの構築を進める。触力覚インタフェースの構築では、筋電信号による動作の推定精度を向上させ、触力覚提示の高度化を図る。また、触力感覚の提示に整合した可視化に重点的に取り組む予定である。高臨場感提示システムの構築では、空間投影による立体像表示の特性の向上を図り、視覚的臨場感の改善に取り組む。
触力覚提示の高度化では、筋電信号による動作の推定精度を改善する。筋電信号の周波数成分及び振幅強度に基づく画像を入力データとして畳み込みニューラルネットワークを適用し、手の動きを推定している。現状では簡単な動作であれば、比較的高い精度で推定できているが、その結果の解析は不十分であり、今後詳細な解析及び考察を進めていく。ハイパーパラメータの探索や、入力データとして適した特徴量についても更なる改善を図る計画である。さらに、データが少なかったり、複雑な動作に対応していなかったりする問題への解決策を探る。
触力感覚の提示に整合した可視化について、触力覚インタフェースで三次元形状の触知を支援する視覚情報の適切な提示を引き続き検討する。三次元表面を二次元面に展開したり、三次元構造を直感的に理解するのに適した視点を入れたりすることによって、三次元情報の視覚情報と触力覚情報との相互連携を改善する仕組みを検討する。
立体像の表示では、視覚的臨場感を高める方策としてホログラフィック再生像の提示を引き続き検討する。立体像表示として空間投影による方法を基本とし、立体像のカラー化と、空間スクリーンによる全方向視差での立体像の安定的表示を中心に改良を進めていく。
|
| Causes of Carryover |
理由
技能伝承の訓練や分散協調の検討を行い、評価用コンテンツの開発を行う予定であったが、基盤となる技術の確立を優先することにし、触力感覚インタフェースの構築、視覚的臨場感提示システムの構築に注力した。これに伴い、コンテンツの評価実験を見送った。以上により、次年度使用額が生じた。
今後の使用計画
今年度の結果に基づいて、筋電信号から手形状を推測する機能の高度化について設計し、実装を進める予定である。特に、複雑な形状の判定を可能とする仕組みを導入する。また、空間投影による立体像表示の安定化及び特性の高度化を図る。以上、次年度使用額については、適切に使用する予定である。
|
Research Products
(5 results)
