2020 Fiscal Year Annual Research Report
Analysis of Reality Distorted Spatio-Temporal Field to Improve Human Skill and Motivation
| Project/Area Number |
19H01129
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
稲見 昌彦 東京大学, 先端科学技術研究センター, 教授 (00345117)
野嶋 琢也 電気通信大学, 大学院情報理工学研究科, 准教授 (10392870)
暦本 純一 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
小池 英樹 東京工業大学, 情報理工学院, 教授 (70234664)
持丸 正明 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究センター長 (90358169)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 歪曲時空間制御 / ３次元プレイヤーモデリング / マーカーレスモーションキャプチャ / ARスポーツ観戦システム / VR歪曲時空間環境 / リアルタイム着弾点予測 / プレイヤートラッキング / 適応的可変速シャドーウィングシステム |
|---|
| Outline of Annual Research Achievements |
２年度は，歪曲時空間制御に関する応用システムの検討を進めた．森島グループは，１枚画像からの高精度な着衣全身３次元モデリングの研究に基き，さらに動画からの高精度な姿勢推定システムの開発を行い，１枚の画像と動画から着衣キャラクタをインスタントに生成し，自己の分身として動作させる基盤システムを構築した．持丸グループは、トレーニングフィールドプロトタイプとして，運動計測および運動力学介入を実現するリアルタイムシステムを用いて環境の運動力学制御下における運動の変容を計測する実験を実施した．これにより非侵襲な運動計測技術およびデジタルヒューマン技術による解析環境をベースとしたトレーニングシステムの開発基盤が整備された．野嶋グループは、まずAR観戦技術の機能向上を実施し，従来観戦者に近接する空間でなければAR像が提示できない問題に対して複数のARマーカ・計測用カメラを組み合わせたシステムを構築し，従来より遠方の物体・人物に合わせたAR像が提示可能となるシステムの基礎技術を開発した．稲見グループでは，ボールジャグリングを対象として，スキル向上を目的とした現実歪曲空間の構築を行った．身体スキルの中には、同時に多くの要因を高速・高頻度で制御する必要があるために段階的な学習が難しいものがあるが，没入型バーチャル環境とパラレルワイヤ機構を用いた遭遇型力覚提示デバイスを組み合わせることによって、投球・捕球に伴う力覚を適切に再現しつつ，空中にあるボールの移動速度を制御可能な装置を提案し実装を行った．小池グループでは、卓球を対象としたプレイヤーの動作からボール着弾点を予測し，卓球台に実時間プロジェクションするシステムに基き，VRを利用した卓球訓練システムの実装に着手した．暦本グループは、学習者の発話を音声認識により常に確認し、学習課題の難易度を自動的に調整する技術を開発しその有効性評価を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
森島グループが開発したビデオ画像からの深層学習による動作解析システムは，従来のOpenPoseベースのシステムと比較して，破綻を発生させず動作者の動きを忠実再現することに成功しており高く評価されている．また昨年度に発表した1枚の着衣全身画像からの3次元形状復元およびテクスチャ再現技術(PIFu)は，コンピュータビジョン分野、深層学習を用いた画像処理分野において特に高く評価されており，現在において発表から1年半たらずで引用数２２１を刻んでいる．暦本グループの学習者のレベルに適応しながら，シャドーウィングの速度を調整する技術は，国際的なACMの国際トップ会議CHI2020のHonorable Mention Awardに選ばれて，他にも国際会議1件に採択されている．他のグループの成果ももれなく査読付きの国際会議において成果発表を行ったり，国内の著名な会議での発表を着実に行っており，当初の予定以上のスピードで技術開発が進展していることを示している．全てのチームにおいて，歪曲時空間を制御可能なプロトタイプシステムの具体的なイメージがすでに固まり，さらには具体的なトレーニングシステムの構築も進んでおり，今後ユーザテストが進むにつれて，歪曲時空間制御の有効性，時間軸をコントロールすることの意義がさらに明らかになる予定である．また人間のモティベーションやスキルの向上に対して，効果的な知見が多数集積されることが十分に予測されている．人間が気持ちよく，モティベーションを高めながらスキルを効率よく習得可能な歪曲時空間制御トレーニングシステムの実現に向けて着実に研究が進行している．
|
| Strategy for Future Research Activity |
最終年度は，森島グループは，ビデオ画像からのプレイヤーの３次元モデル自動構築と，自由視点での鑑賞システムの構築にチャレンジし、複数台のカメラを時には利用して任意の角度から試合や自己のプレースタイルを客観的に鑑賞したり、プレイヤーの動きを精密に分析し、歪曲時空間制御を施して鑑賞することができる全く新しい試合観戦システムのプロトタイプ構築をさらに進める。持丸グループは、力学介入とVR空間を統合した環境下でのトレーニングシステムの開発をさらに押し進め，これらの開発基盤にVR環境を統合することで，実際のトレーニングシステムの開発およびその有効性検証を実施する．野嶋グループは、AR技術を利用した観戦システムを活用し、ビデオゲームのコンテンツによる面白さに着目し，ビデオゲームを改変せずに従来の物理スポーツと融合する技術をさらに発展させ、モティベーション向上のための有効性をユーザテスト通して進めていく．稲見グループでは、現在開発中のボールジャグリング用練習装置の開発を続行する．また本装置を用いた本格的なユーザー実験を実施する．さらに、ボールジャグリング以外の身体スキルへの応用も試みる予定である．小池グループでは，VR空間を利用した卓球訓練システムの開発をさらに進める．具体的にはVR空間内に現実を模倣した卓球訓練環境を実現し，ボールの速度を低速から徐々に早めて行くことで，実際の速度のボールにも対応できるようになるかどうかを調べる．その際，視覚的，聴覚的，力覚的フィードバックを変化させることで，どの感覚が最も有効に機能するかを調べる．暦本グループは、シャドーウィングシステムで構築された発話解析による時空間歪曲制御技術を応用し、学習課題を学習者の現状よりも少しだけ高いレベルに設定する手法が有効な他の学習領域にも技術展開を進める．
|
