2018 Fiscal Year Research-status Report
タブレット端末ベースの簡単便利なモーションキャプチャによる体育の協働学習支援
| Project/Area Number |
18K02876
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
田中 一基 近畿大学, 工学部, 教授 (60351657)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | スポーツ映像 / 視点変更 / 観察支援 / 画像処理 / 三次元認識 / カメラキャリブレーション / ホモグラフィ変換 / 空手道競技 |
|---|
| Outline of Annual Research Achievements |
スポーツの映像シーンの視点変更によりシーンの観察を支援する画像処理技術の開発に取り組んでいる．自由な視点変更のためにはプレイヤの関節部の三次元認識とこれに基づく三次元CG化が必要であり，三次元認識の手法として，機械学習による手法と，プレイヤの特徴点の画像追跡による手法を評価した．この結果，関節の認識率が高い機械学習（深層学習）による手法に絞った．また，認識精度の確保についても取り組んでおり，カメラ（タブレット端末のカメラ）を固定しないことによるブレが大きな問題であることが分かったため，カメラ座標系の修正技術の開発にも取り組んでいる．具体的には，画像ごとにカメラのキャリブレーション計算を行う．このため，スポーツの競技コートに描かれている幾何学的な図形を画像から検出する画像処理アルゴリズムと，その情報に基づくキャリブレーション手法を確立した．
このキャリブレーション計算の副次的な効果として，画像のホモグラフィ変換が可能となり，画像中の平面の観察視点の変更が可能となる．画像中の平面として競技コートの床面を選んだ場合，たとえば床面を斜め上から撮影した画像を，真上から撮影した画像に変換できる．したがって，床面上の足の位置も真上からの画像に変換できるので，フットワークなどの観察学習支援への応用が期待できる．そこで空手道競技を対象にして，ホモグラフィ変換を応用した観察学習支援システムを構築し，予備的な評価実験を行った．またこの成果を学会（The 30th International Conference of Society for Information Technology and Teacher Education）で発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成30年度の目標は，(1)関節の検出手法の決定，(2)関節の三次元認識精度の確保に見通しをつけること，である．関節の検出については，機械学習により安定して検出できることを確認し，この手法をベースとして今後の研究を進めることに決めた．具体的にはOpenPoseライブラリを用いるが，NVIDIA GeForce GTX1080 Ti以上のスペックのGPUボードが必要である．一方，研究目的はタブレット端末を用いた簡単便利な観察支援であるため，高性能GPUを搭載したPCをサーバーとし，タブレット端末から映像をサーバーに送り，サーバーから関節の認識結果を返す仕組みを構築中である．次に認識精度の確保については，シーン毎のカメラキャリブレーションによりタブレット端末のカメラのブレを修正する手法を開発中である．以上の２つについて，進捗上の問題は特に無い．
|
| Strategy for Future Research Activity |
平成31年度は予定通りに研究を進める．目標は，(1)関節の三次元認識精度の確保，(2)三次元CGアプリケーションの完成，である．認識精度の確保については，シーン毎のカメラキャリブレーション計算の効率化を図り，さらに，プレイヤの部分隠蔽に対する関節推定の技術をカルマンフィルタ等により開発する．三次元CGアプリケーションについては，体育学が専門の研究協力者と協力して，観察を支援する映像提示方法を関発する．
平成32年度は開発したシステムの評価を行うが，懸念点はリアルタイム性である．平成31年度にカメラキャリブレーションから関節認識と三次元CG化までの所要時間を評価し，平成32年度のシステム評価方法を検討する．また，カメラキャリブレーション計算の副次的な効果として，画像のホモグラフィ変換によるフットワークの観察支援が可能となり，限定的な観察支援であるがリアルタイム処理が可能であり，このシステム評価も含めて検討する．
|
| Causes of Carryover |
平成30年度の交付申請書には，開発する「簡易モーションキャプチャ」を評価するための「市販モーションキャプチャソフト」を購入する計画を記載したが，このソフトの購入と利用は中止した．理由は(1)関節認識のオープンライブラリ（OpenPose）の利用により「簡易モーションキャプチャ」の見通しが得られたこと，(2)交付金の額が「市販モーションキャプチャソフト」の価格を下回ったこと，である．このライブラリを利用するためには高性能GPUボードと増設メモリが必要であり，これらを購入したが，交付金額より７千円安く購入できたことが未執行経費が発生した理由である．
|
Research Products
(1 results)
