| Project/Area Number |
23K11352
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
浅井 紀久夫 放送大学, 教養学部, 教授 (90290874)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高野 邦彦 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (10353260)
佐藤 誠 放送大学, 教養学部, 客員研究員 (50114872)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | インタフェース / 触力感覚 / 筋電信号 / ホログラフィ / 視覚的臨場感 / 情報可視化 |
|---|
| Outline of Research at the Start |
本研究の目的は、熟達者と複数の学習者が体感的情報を共有する場としての分散協調環境を構築することである。そのために、暗黙知としての触力感覚を忠実に再現する触力覚インタフェースを開発する。本研究では力加減を筋の活動状態である生体信号として計測し、手指の動作とそれに伴う力加減の識別に有効な特徴を深層学習によって抽出する。また、触力覚および電気刺激によるフィードバックを行い、触力感覚を高精度に再現する仕組みを構築する。さらに、複数の学習者が体感的情報を共有しやすくするため、立体視提示によって視覚的臨場感を高める仕組みを実現する。
|
| Outline of Annual Research Achievements |
学習者が熟達者との体感的インタラクションを通して技能を習得するためのシステムを構築することが当初の目的である。そのために、触力感覚を忠実に再現する触力覚インタフェースを実現するため、筋電信号から手指の動作を推定する仕組みを導入する。また、視覚的臨場感の高度化を図るため、ホログラフィを使った立体視ディスプレイを開発する。
これまでの実績に基づいて、筋活動と作業との間の関係を、畳み込みニューラルネットワークによって推定することとし、入力を筋電信号の周波数変換画像とし、出力を手指の動作として想定していた。しかし、この設定では手指の動作を分類することしかできず、手指の動作状態を細かく推定することはできない。そこで、入力を筋電信号の時系列データそのままとし、出力を手指の関節角度データに設定とすることにした。これに伴い、学習モデルを、系列データの長期依存性を学習する再帰型ニューラルネットワークに置き換えた。RNN（Recurrent Neural Network）、LSTM（Long-Short Term Memory）、GRU（Gated Recurrent Unit）を比較した結果、出力を手指の関節角度の変化（速度）に設定すれば、どのモデルでも約83 %の精度が得られた。
視覚的臨場感を高めるため、ホログラフィを用いた立体視ディスプレイを構築している。これまで、空間スクリーンとして霧を採用し、LD（Laser Diode）光源からの光をDMD（Digital Mirror Device）表示面（ホログラム面）に照射することによって回折投影像を構成していた。色再現性を改善するため、青紫色光による像再生についてその特性を評価した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究では、学習者が熟達者との体感的インタラクションを通して技能を習得するためのシステムの構築を目指している。そのために、触力覚インタフェースの再現精度を高め、立体視ディスプレイの画質の向上を測る。
筋電信号から手指の動作を推定する仕組みに対する技術要素として、個々の利用者に応じた個人化対応と、利用時の状況変化に伴う再帰的校正に取り組むこととしていた。動作推定の仕組みとして深層学習によるニューラルネットワークのモデル構築を構想し、一般的な利用者の非固有特徴と、各利用者特有の固有特徴とを分けて考えた。深層学習によるモデル構築では大量のデータで学習を行う必要があり、汎用的な大規模データセットを用いて非固有特徴の学習を行うことを想定した。これまで、推定モデルには畳み込みニューラルネットワークを採用し、入力に筋電信号の周波数変換画像を、出力にその手指の動作状態の分類を設定していた。しかし、この設定では動作の状態が静的にしか把握できないため、手指の動作状態を細かく計測することはできなかった。そこで、モデルの出力を手指の関節角度に変更し、モデル自体も系列を学習する再帰型ニューラルネットワークに変更した。そのため、モデルを改めて訓練するプロセスが必要になり、今期はそのモデルの構築に注力した。当初の個人化対応や再帰的校正に取り組むことはできなかったが、上記結果について国際会議で発表した。
以上を総合的にみて「やや遅れている」と判断した。
|
| Strategy for Future Research Activity |
今後も、触力覚インタフェースの高度化と立体視ディスプレイの画質向上を進める。触力覚インタフェースの高度化では、手指の動作に加えて触力覚を含めた推定が筋電信号から行えるようにモデルの精緻化を図る。また、一般的な非固有特徴だけではなく、個人化に対応する固有特徴を学習するモデルの設計に取り組む。立体視ディスプレイの画質向上に対して、青紫色光によるホログラフィ像再生の特性が明らかになったので、それに基づく再生像の色再現性の改善に取り組む。
|
