2019 Fiscal Year Research-status Report
Analysis and visualization of sport motions by using consumer grade high speed camera
| Project/Area Number |
18K11606
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
井尻 敬 芝浦工業大学, 工学部, 准教授 (30550347)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
永見 智行 北里大学, 一般教育部, 講師 (10634371)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 高速度動画像処理 / スポーツ動作の可視化 / スポーツ姿勢推定 / スポーツ動画像処理 / スマートミラーシステム |
|---|
| Outline of Annual Research Achievements |
コンシューマ用デジタルカメラやスマートフォンなどに高速度動画撮影機能が搭載され始め，高速度カメラの一般ユーザへの普及が確実なものとなった．本研究では，スポーツに着目し，民生用高速度カメラを活用することでスポーツパフォーマンスの計測・可視化を手軽に行えるシステムの実現を目指す．具体的には，『(A)深層学習によりえられる姿勢追跡データを活用したスポーツ動作解析』『(B)ボールのスピン解析』『(C)鏡を模倣したフォーム可視化』という3件のサブ課題に取り組んでいる．
課題(A)について，スポーツにおける反復練習を撮影した高速度動画から，特定の反復動作のみを抽出し可視化する手法を実現した．提案法を利用すると冗長な反復練習動画の効率的な視聴・解析が行なえる．この手法では，深層学習により姿勢情報を抽出し，姿勢の類似性を利用して反復動作を半自動的に抽出する．基本的なアイディアは国内学会にて発表済みであり，今後，詳細なユーザスタディを実施する計画である．課題(B)については，核心部分の研究・開発は終了しており，必要に応じて応用のための微調整を進めている．課題(C)では，反復練習を鏡の前で行なうと，練習の様子が自動的に高速度撮影され，後から自身のフォームを詳細に確認できるスマートミラーシステムを実現した．このシステムについて，簡単なユーザスタディを行い，成果を国内学会にて発表した．現在，野外における利用を想定しシステム改良を行なっている．さらに，VR技術を利用しスポーツ動作を等身大で可視化できる手法の開発も実施し研究会発表を行なった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前述の通り，本研究では3件のサブ課題に取り組んでいる．サブ課題(B)はほぼ終了しているため，サブ課題(A, C)について進捗状況を述べる．
課題(A)．スポーツトレーニングにおいて，フォームの詳細な確認のため，反復練習シーンの高速度動画（または，通常動画）撮影が頻繁に実施されている．しかし，反復練習動画の視聴は冗長な作業となる．そこで，撮影した動画から深層学習により姿勢情報を抽出し，この類似度を利用して着目したい動作部分のみを半自動的に抽出・可視化できる手法を実現した．成果は国内学会にて発表済みである．今後，実応用のための実験を実施し，良い成果が得られれば国際会議等における成果発表を行なうことを計画している．
課題(C)．鏡の前で素振りなどの反復練習を行なうと，自動的に練習の様子が高速度撮影され，後から練習動作を確認できるスマートミラーシステムを開発した．これまでに小規模なユーザスタディを行い成果は研究会にて発表済みである．申請時に予定していたシステムが実現できたため，現在は野外練習にも利用可能なようにこのシステムの改良を実施している．今後は，改良したシステムを利用し実際のスポーツ選手の協力のもと詳細なユーザスタディを実施する予定である．また，昨年度の進捗に余裕があったため，VRを活用したスポーツ動作の等身大可視化法の研究も追加で行ない，その成果を国内学会にて発表した．今後，この可視化法についても，詳細なユーザスタディと成果発表を行なう準備を進めている．
|
| Strategy for Future Research Activity |
今年度は一部のデータ収集作業の延期があったものの，おおむね当初の研究計画どおりに研究を進められており，今年度も引き続き研究計画に沿って研究を遂行する予定である．サブ課題(A)とサブ課題(C)について，予定していたシステムの実装はほぼ完了しているため，今年度の主な作業は，ユーザに利用してもらいシステムを評価するユーザスタディである．ただし，本年度は感染症流行のため，一箇所に集まってスポーツを実施することが難しい状況である．大規模なユーザスタディの実施が難しい場合は，本年度中はシステム改良のみを行い，ユーザスタディは来年度に延期することも考えている．
|
| Causes of Carryover |
理由 : 年度後半にかけて予定していた撮影が延期となったことに伴い，データ処理作業を行えず予定額を下回った．
計画 : 延期となった実験を実施し，研究計画どおりに研究を遂行することで，予定通りの支出額となる予定である．
|
