2019 Fiscal Year Annual Research Report
Analysis of Reality Distorted Spatio-Temporal Field to Improve Human Skill and Motivation
| Project/Area Number |
19H01129
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
稲見 昌彦 東京大学, 先端科学技術研究センター, 教授 (00345117)
野嶋 琢也 電気通信大学, 大学院情報理工学研究科, 准教授 (10392870)
暦本 純一 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
小池 英樹 東京工業大学, 情報理工学院, 教授 (70234664)
持丸 正明 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究センター長 (90358169)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 歪曲時空間制御 / ３次元プレイヤーモデリング / マーカーレスモーションキャプチャ / ARスポーツ観戦システム / VR歪曲時空間環境 / リアルタイム着弾点予測 / プレイヤートラッキング / 適応的可変速シャドーウィングシステム |
|---|
| Outline of Annual Research Achievements |
初年度は、スキルやモティベーションを向上させるための歪曲時空間制御に関する要素技術開発および応用先の模索を行った。森島グループは、１枚の着衣全身画像からの高精度な姿勢の３次元モデル生成およびテクスチャ合成に成功し、任意の角度から対象を鑑賞できる３次元視覚コンテンツのためのプレイヤーの効率的なモデリングの可能性を示した。持丸グループは、力学的な介入環境によって運動スキルを向上させる研究基盤として、非侵襲な運動計測技術の開発およびデジタルヒューマン技術による解析環境の開発を行った。マーカレスのビデオ式モーションキャプチャを整備し、有効性の確認を行った。野嶋グループは、スポーツにおけるヒトの行動を変容させるモティベーションデザインに関して、ビデオゲームと物理スポーツの融合手法の提案および観客の観戦手法に関する調査を行った。またAR技術を利用した観戦システムを構築し，その有効性を確認した。稲見グループでは、スポーツスキルの向上を目的とした現実歪曲時空間として、球技の際のボールの動きがスローモーションとなる空間の実装に着手した。まずは、ボールジャグリングのトレーニングを最初のフィールドとして設定し、速度変更可能なVR環境の構築を開始した。小池グループでは、卓球をターゲットとして、プレイヤートラッキングとボールの着弾点予測、および卓球台への実時間プロジェクションを行った。プレイヤーのサーブ動作を1台のRGBカメラで撮影し、深層学習による動作予測システムFuturePoseを用いてボールの着弾点を実時間予測し、卓球台上に実時間投影される。実験の結果、実際の着弾点をほぼ正確に予測できることが示された。暦本グループは、学習者の発話を音声認識により常に確認し、教材に対して正しくshadowを行えていない場合は、スピーキングの速度をゆるめるなど、学習課題の難易度を自動的に調整する技術を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
森島グループが開発した１枚画像からの着衣人物の３次元形状推定およびテクスチャ推定技術は、その新しさおよび技術レベルの高さからコンピュータビジョン分野のトップコンファレンスであるCVPR2019およびICCV2019に相次いで論文採択され、またCVPRではBest Paper Finalistsに選抜された。また暦本グループの学習者のレベルに適応しながら、シャドーウィングの速度を調整する技術は、コンピュータヒューマンインタラクション分野のトップコンファレンスであるCHI2020において、Honorable Mention Awardに選ばれている。他のグループの成果も、査読付きの国際会議において成果発表を行っており、当初の予定以上のスピードで技術開発が進展していることを示している。全てのチームにおいて、歪曲時空間を制御可能なプロトタイプシステムの具体的なイメージが固まりつつあり、今後、プロトタイプシステムが次々と具体的なトレーニングシステムとして構築され、ユーザテストが進むにつれて、歪曲時空間制御の有効性がさらに明らかになる予定であり、時間軸をコントロールすることの意義が明らかになる予定である。また人間のモティベーションやスキルの向上に対して、効果的な知見が多数集積されることが十分に予測される。人間が気持ちよく、モティベーションを高めながらスキルを効率よく習得可能な歪曲時空間制御トレーニングシステムの実現に向けて大きな一歩を刻んだことになる。
|
| Strategy for Future Research Activity |
２０２０年度以降は、森島グループは、ビデオ画像からのプレイヤーの３次元モデル自動構築にチャレンジし、任意の角度から試合を鑑賞したり、プレイヤーの動きを精密に分析し、歪曲時空間制御を施して鑑賞できる全く新しい試合観戦システムの構築をめざす。持丸グループは、マーカレスのビデオ式モーションキャプチャを活用・整備し、観測された運動データをデジタルヒューマン技術を用いて解析することで、従来のスポーツ科学で用いられてきたものとは異なる指標での評価を実現し、これらの計測・解析技術にもとづき力学介入とVR空間を統合した環境下でのトレーニングシステムの開発に繋げる。野嶋グループは、AR技術を利用した観戦システムを活用し、ビデオゲームのコンテンツによる面白さに着目し，ビデオゲームを改変せずに従来の物理スポーツと融合する技術をさらに発展させ、モティベーション向上のための有効性をユーザテスト等で確認する．稲見グループでは、ボールジャグリングのトレーニングを目的とし、速度を変更可能なVR環境として構築する。キャッチ/スローするボールはワイヤフレーム制御機構に繋がった物理的ボール、空中にあるボールはVR上のボールとし、両者の間を適切にトランジションすることによりシステムを実現する。2020年度中期にプロトタイプを実現し、さらに後期には本システムを用いたスキル伝達実験（ユーザーテスト）の結果を報告する予定である。小池グループでは，卓球を引き続きターゲットとして，プレイヤートラッキングとボールの実時間着弾点予測及びプロジェクション可能な技術をさらに発展させ、より一般的なトレーニングにも耐えうるシステムを構築する。暦本グループは、シャドーウィングシステムで構築された発話解析による時空間歪曲制御技術を応用し、学習課題を学習者の現状よりも少しだけ高いレベルに設定する手法が有効な他の学習領域にも技術展開を進める。
|
