手足が自由に動かせない状況においても身体所有感が得られるVRスポーツの実現

• Project/Area Number: 22K12118
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Shonan Institute of Technology
• Principal Investigator: 堀越 力 湘南工科大学, 情報学部, 教授 (00739782)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000); Fiscal Year 2024: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000); Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: ヴァーチャルリアリティ / 筋電センサ / スポーツトレーニング / 圧力センサ / 動作解析 / 身体所有感 / ユーザインタフェース

Outline of Research at the Start

バーチャル空間内のアバターを自分の動きに同期させることで，自分の身体の一部と知覚させる「身体所有感」に関する研究である。通常は体験者の動きそのものをバーチャル空間に反映させる。このとき、動きの遅延などが一定の条件を満たせば、身体所有感を得ることが出来ることがわかっている。一方で、身体形状や動作を、ある程度誇張したとしても身体所有感を得ることが可能であるという報告もある。そこで、本研究では、手足の動きを制限した状態で、身体所有感をどの程度得ることができるのかを検証する。この技術を応用することで、四肢が不自由な障害者であっても、自由にスポーツを楽しむことが出来るようになることを目指している。

Outline of Annual Research Achievements

本年度は、まず筋電センサの有用性について検証を進めた。一つは、椅子に座ったまま、足首を動かすだけで、VR空間を歩行する動作がどの程度違和感があるかどうかの検証を行った。踵の上げ下げと、つま先の上げ下げを組み合わせることで、VR空間内を歩き回れるシステムを構築した。検証した結果、筋電センサの装着には、多くの手間がかかること、また、個人差も大きく、安定した計測が難しいことも明らかとなった。そこで、本年度後半では、筋電センサの代替として、圧力センサの有用性の検証も開始した。
まず、圧力センサを使って、筋肉の硬度を図ることで、間接的に筋肉の弛緩状態を推測するシステムを検討した。圧力センサの値を取得する際に、実際の腕の動きをモーションセンサで同時計測し、圧力センサと腕の動きの関係を機械学習で学習した。その学習セットを使って、圧力センサの値から、腕の動きを推定することが可能であることを示した。
また、圧力センサを使った動作解析の応用として、バトミントン時の動作（ラケットの握り方の変化）を複数の圧力センサを使って、計測システムを製作した。ラケットのグリップの部分に６個の圧力センサを装着し、そのセンサの値から、熟練者と初心者で、グリップを握る力の入れ具合に特徴的な違いがあることが見出せた。今後、筋電センサに限定せず、圧力センサも視野に、動作解析への可能性に関しての検討を進めていく。
筋電センサの使いやすさを考慮すると、このセンサ以外で動きを計測する方が良さそうであるという結論に至っている。その一つの案として圧力センサの利用可能性の検証を進め、ある程度の可能性は見えてきた。しかし、計測の安定性という観点では、まだまだ課題が多い。この点の検討は引き続き行っている。一方で、手足の動きを別の手段で間接的に取得することができないかという観点で、改めて計測手法について調査検討を進めることとした。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

筋電センサの代用として、圧力センサを利用して手足の動きを推測するシステムの開発を進めた。時系列予測のために、LSTMネットワークを用いて学習・予測する実験を行った。上腕部の筋肉に圧力センサを押し付け、筋肉の弛緩状態を計測する。その時の実際の前腕の動きをモーションセンサで計測した。圧力センサの時系列データを学習の入力データとし、モーションセンサの動きを出力データとして機械学習を行った。この学習セットを使用し、前腕の上げ下げを圧力センサの値のみから予測することが可能であることを示した。本件は、VR学会大会でポスター発表を行った。
また、筋電センサ（Myoware2.0）を使用し、椅子に座った状態で、踵の上げ下げによりバーチャル空間を歩行するシステムを構築し、その可能性を検証した。センサは、左右の足のスネと脹脛に一つづつ装着、計４つのセンサを使用した。踵の上げ下げで前進、後退ができ、つま先の上げ下げを組み合わせることで左右の方向転換ができるシステムである。筋電センサの比較として、HMDのコントローラでの歩行操作を比較対象として実験を行った。その結果は、コントローラの方が操作しやすいという結果となった。筋電センサは、普段使用しない筋肉の動きを強いるため、体験者にとっては身体的な負担が大きいことが大きな要因である。今後、「四肢を動かしやすい動作」という観点で、改めて。筋電センサや圧力センサの装着位置などを検証する（見直しする）必要性が明らかとなった。

Strategy for Future Research Activity

動きの取得として、現在、圧力センサを利用した検討を進めている。圧力センサによる筋肉の弛緩状態の計測に限定せず、身体の動きを取得するための様々な手法を検討していきたい。歩行時の腕の動きを別の形態で取得する方法として、例えば肩甲骨の動きを何らかの方法で計測できれば、間接的に腕の振りを計測することができる。腕の振りの大きさから歩行時の速度なども変化させることが期待できる。
また、移動に関して歩行に限定せず、バイクなどでの移動も視野に考えたい。バイクの場合は、左右の重心の移動で、方向を制御することができる。歩行よりもより簡易な指示で移動できることから、乗り物での重心移動による移動などの検討も行うこととしたい。
また、実際に歩行する際の空間はメタバース空間などの利用も視野に入れている

Research Products

• [Presentation] 圧力センサを用いた腕の動き推定 (2023)
  • Author(s): 佐藤光流、堀越力
  • Organizer: 第28回バーチャルリアリティ学会大会