2021 Fiscal Year Research-status Report
Personalization and recalibration of haptics interaction by deep learning in distributed collaborative training for skill transfer
| Project/Area Number |
20K12113
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
浅井 紀久夫 放送大学, 教養学部, 教授 (90290874)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高野 邦彦 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (10353260)
佐藤 誠 東京都立大学, システムデザイン研究科, 客員教授 (50114872)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 触力感覚 / インタフェース / ホログラフィ / 情報可視化 |
|---|
| Outline of Annual Research Achievements |
体感的インタラクションを通して触力感覚を共有するためのシステムの構築を目指す。触力感覚を提示するインタフェースの再現精度を向上させると共に、対象を、視覚的臨場感を伴って提示するためのディスプレイの性能向上を図る。
触力覚インタフェースでは、遠隔通信による情報交換の遅延が発生し、触力感覚の提示精度が低下する。そこで、操作者の筋電信号から手の動きを推定する仕組みを実装し、その遅延を緩和する。このとき、この推定の精度を出すには、触力操作と筋電信号とを組にしたデータセットを大量に用意する必要がある。しかし、現実問題としてそのような大量のデータセットを用意することは困難である。そこで、筋電信号に類似する既存データセットを用いることによって非固有特徴を捉える方策を採用した。
筋電信号を複数の筋電センサから取得し、それを畳み込みニューラルネットワークに入力して手の動きを推定した。筋電信号に周波数変換を施し、動作の変化が生じない時間範囲の画像を入力とすることで、画像認識の既存データセットを利用可能とした。その結果、非固有特徴を捉えることにはある程度機能したが、十分な精度が得られていない。
体感的インタラクションの対象を視覚的に提示するディスプレイとして、三次元情報を立体表示できるホログラフィを採用している。ホログラムをカラー再生するにはRGBの各色の再生像の画質および滑らかな動画像表示が必須である。色再現性を向上させるには、特に短波長の光（青色）に対する特性を改善する必要がある。そこで、青紫色の光で再生できる条件を調査し、どの程度の点群が再生できるかを考察した。この再生条件が明らかになることは、ホログラムのカラー再生にとって重要な意味を持つ。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では、学習者が他者と感覚情報を共有するためのシステムの構築を目指している。そのために、触力覚インタフェースの再現精度および、ホログラフィ再生における画質の向上を図る。
本年度は、ホログラフィ再生における画質の向上の研究を積極的に進めた。青紫色の光で再生できる条件を調査したところ、点群の数が少ない条件であれば、高いコントラストで、かつ、輝度のむらが抑えられることが明らかとなった。これによって、ホログラムをカラー再生することができる。そこで、動画像表示に対応するため、その条件の検討に取りかかることができた。こうした結果について国際会議および国内学会で発表した。
触力覚インタフェースの再現精度の向上に対して非固有特徴の学習を精度よく行うために、筋電信号に類似する既存データセットを用いたシステムを実装し機能的には動作するようになった。ただし、十分な精度が得られていないので、その要因を探り、ネットワークの構成を中心に改善方策への試みを行っているところである。また、畳み込みニューラルネットワークへの筋電信号の入力形態がセンサの増加に伴う精度向上に影響を及ぼすことが示唆されている。そのため、センサの数と信号の入力形態との組合せに対する精度の変化を評価している。
以上を総合的に見て「順調に推移している」と判断した。
|
| Strategy for Future Research Activity |
引き続き、触力覚インタフェースの再現精度向上とホログラフィ再生における画質向上を進めていく。今後、感覚情報を共有するための分散協調環境システムを構築するよりは、触力覚インタフェースと提示ディスプレイに関する要素技術の課題解決に重点を置き、その評価を実施していく。触力覚インタフェースでは筋電信号から手指の動作および力の入れ具合を精度よく推定するため、個人化に対応する固有特徴の学習に取り組む。触力操作と筋電信号とを組にしたデータセットを大量に取得するのは困難であり、少数のデータに基づく固有特徴の学習ができる方策を考案する。また、提示ディスプレイではホログラフィ再生における画質の向上を進めていく。青紫色の光で再生できる条件が明らかになり、ホログラムをカラー再生する技術要素は整いつつある。そこで、これを積極的に進め、滑らかな動画像表示に向けてその処理に必要となる条件を探索した上で、カラー動画像の高精度な再生を実現していく予定である。
|
| Causes of Carryover |
理由：当初、触力覚インタフェースの触力操作と筋電信号とを組にしたデータセットの取得および被験者実験によるインタフェースの評価を計画していたらが、新型コロナの影響でこれらの実施が困難になった。また、調査研究や成果発表のための旅費を計上していたが、
新型コロナの影響でオンライン開催となり、旅行を取り止めた。以上により次年度使用額が生じた。
使用計画：今年度得られた結果に基づいて、触力覚インタフェースの再現精度とホログラフィのカラー再生の画質に関する研究を進める予定である。データの取得および被験者実験、旅行について新型コロナの状況に応じて適宜実施し、場合によって代替えの措置を講じる。以上、次年度使用額について適切に使用する予定である。
|
