2018 Fiscal Year Research-status Report

Analysis and visualization of sport motions by using consumer grade high speed camera

Research Project

Project/Area Number	18K11606
Research Institution	Shibaura Institute of Technology
Principal Investigator	井尻敬芝浦工業大学, 工学部, 准教授 (30550347)
Co-Investigator(Kenkyū-buntansha)	永見智行北里大学, 一般教育部, 講師 (10634371)
Project Period (FY)	2018-04-01 – 2021-03-31
Keywords	高速度動画像処理 / スポーツ動画像処理 / 姿勢推定 / スマートミラー / 可視化
Outline of Annual Research Achievements	コンシューマ用デジタルカメラやスマートフォンなどに高速度動画撮影機能が搭載され始め，高速度カメラの一般ユーザへの普及が確実なものとなった．しかし，従来，高速度カメラは非常に高価なデバイスであり，専門家が製品検査・研究などの目的に利用するものであった．そのため，高速度カメラの一般ユーザ向けの利用方法はあまり開発されていない．本研究では，スポーツに分野着目し，高速度カメラを活用した計測・可視化に関する課題に取り組む．具体的には，高速度カメラを活用した『(A)深層学習によるスポーツ動画像の動作解析と可視化』『(B)ボールのスピン解析』『(C)鏡を模倣したフォーム可視化』という3件のサブ課題に取り組む．課題(A)について，深層学習に基づく姿勢推定法（OpenPoseやPoseNet等）をスポーツ動画に適用し，その精度の確認を行なった．さらに，深層学習に基づく姿勢推定法が出力するデータを平滑化することで出力結果を安定化する後処理手法の研究開発や，姿勢推定結果を利用した守備動作解析に関する研究開発を行い国内の学会にて発表を行った．また，スポーツシーンを撮影した高速度動画と姿勢推定データを活用した，汎用的な動画像解析・処理手法の研究開発に着手した．課題(B)について，申請書に記載したとおり本課題は核心部分の研究は終わっており，応用のための微調整が主なタスクとなる．本年度は，複数の異なる環境において収集された高速度動画を利用し，より堅固な推定を行なうための追加実装を行なった．課題(C)について，高速度カメラ・プロジェクタを統合し，素振り等の練習の様子を高速度動画（スローモーション）で確認できるスマートミラーシステムのプロトタイプ開発を行なった．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 前述の通り，本研究では3件のサブ課題に取り組んでいる．それぞれについて進捗状況を述べる．課題(A)について，先ずは，既存の単眼カメラ画像から姿勢を推定する手法であるOpenPoseとPoseNetをスポーツ動画像（主に，野球の素振り・守備・投球動作）に適用し，その精度を確認した．また，高速度動画では1フレームの間に起こる姿勢変化は少ないという仮定の下，OpenPoseが出力するランドマーク位置（目・鼻・肩・肘・手首など）を時間方向に平滑化することで，姿勢推定結果を堅固化する手法を提案し，国内学会にて発表した．また，野球の内野手の守備動作を高速度動画にて撮影し，その動画に姿勢推定を施すことで，フットプリント・捕球-送球までの時間を自動的に推定する試みを行い国内研究会にて発表した．さらに，これまでに得られた知識を統合し，スポーツ高速度動画像と姿勢推定データを活用し，姿勢情報の解析や動画像の編集を行なえる，より汎用的な高速度動画像編集ツールの開発に着手した．課題(B)について，投手後方から撮影した動画に対し，ボール領域を抽出しその領域の動画像の繰り返しパターンを検出することで，スピンの速度・軸を解析する手法が実現済みである．この手法を，捕手側から撮影された動画像も解析できるように拡張した．課題(C)について，カメラとプロジェクタを組み合わせ，カメラにより得られた画像をプロジェクタにより表示するスマートミラーシステムのプロトタイプシステムの開発を行なっている．特に本研究課題では，カメラ部分に高速度カメラも配置し，素振りのような素早い動作を自動的に撮影・蓄積し，あとからこれを確認できるシステムを実現する予定である．このシステムは本度中にプロトタイプを完成させ学会等で発表する予定である．
Strategy for Future Research Activity	上記の通り，当初の研究計画どおりに研究を進められており，今年度も引き続き研究計画に沿って研究を遂行する予定である．具体的には，初年度に課題(C)のスマートミラーシステムに関してプロトタイプが完成したため，情報工学が専門である研究代表者とスポーツ科学を専門とする研究分担者が密に連携を取り，システムの評価を行なう予定である．また，前述の通り課題(A)に関して，高速度動画と姿勢推定結果を活用したスポーツ高速度動画像の解析編集手法の研究開発を行なう予定である．さらに，課題(C)についてプロジェクタを利用したスマートミラー形式の可視化に関する進捗が良いため，これだけでなくHMDを活用したスポーツシーンの可視化手法の開発も試みる予定である．各サブ課題について，成果があり次第国内外の学会にて発表を行い，他研究者との情報交換を活発に行なう予定である．
Causes of Carryover	主に本研究課題の評価部分を担う研究分担先にて必用な物品の調達に関わる手続きが遅れたため．本年度改めて導入を予定していた物品の調達を行なう．