| 研究課題/領域番号 |
17K13180
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
宍戸 英彦 筑波大学, 計算科学研究センター, 助教 (50782067)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2019-03-31
|
| キーワード | 3次元関節位置検出 / カメラキャリブレーション / 人工知能 / スポーツ競技映像 |
|---|
| 研究実績の概要 |
本研究では，全スポーツ競技のトレーニング支援として，人工知能（Deep Learning）を活用したスポーツ競技映像における選手の関節位置検出アルゴリズムの考案に取り組んでいる．これまでの人工知能を活用した関節位置検出アルゴリズムでは２次元画像上の位置推定を目的としていた．本研究では２次元関節位置検出アルゴリズムを応用し，３次元関節位置検出アルゴリズムの考案に取り組んだ．
３次元空間と２次元画像空間の射影関係を求めるためには，撮影カメラのパラメータが必要となる．基本的なカメラキャリブレーション処理は，空間中に３次元位置が既知なランドマークを設置し，その観測位置との対応関係から射影変換行列を推定する強校正や，ランドマークを必要としない弱校正があるが，本研究では，モバイルカメラで移動しながら撮影した映像と疎に配置したカメラの画像を統合することにより，密な多視点画像群を構築し弱校正の推定精度向上を実現した．弱校正座標系は，撮影毎に原点や各軸の方向が変化してしまうが，スポーツ競技コートラインを利用することで，撮影空間の世界座標系を設定し，弱校正座標系から世界座標系への変換を可能とした．撮影方式による補完画像を用いて，補完画像の取得数によるカメラキャリブレーション精度の比較実験を実施し，提案手法のロバスト性を検証した．その結果，提案手法は，疎に配置されたカメラ間の距離が大きいほど提案手法は労力が少なく精度よく機能することを示した．このように，提案したキャリブレーション手法を２台のカメラを用いたスポーツ選手映像に適用することで，高精度な３次元関節位置の推定に成功した．これまでの人工知能（Deep Learning）の学習に必要な選手の関節位置データは，画像上の２次元情報に限られていたが，３次元関節位置情報の学習が可能となった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度は，人工知能（Deep Learning）を活用したスポーツ競技映像における選手の３次元関節位置検出アルゴリズムを考案した．考案したアルゴリズムは，少ない労力で高精度に機能することを示した．中でも，固定カメラ配置の検討，補完画像枚数の精度検証を行い，カメラと選手の最適な距離や，高精度に機能するための補完画像枚数を明らかにした．例えば，バドミントン競技映像を用いて，提案手法を有効に機能させるためには，輻輳角が6度程度となるように補完画像を切り出すことが望ましい．実験環境のカメラ間は約40m（縦約20m,横約20m）であり，秒速1mの速度で歩行しながら撮影した映像を，毎秒1フレームで切り出し，輻輳角が6度程度の間隔の画像を利用することが最適であることを明らかにした．データ検証では，バドミントン映像と野球映像に対して精度評価を行い，複数のスポーツフィールドの中で提案手法の有効性を示した．特に，野球映像に対する制度検証では，1m四方の立方体に反射板を４つ装着したランドマークを測量器で測距することで，強校正との比較実験を実現し，提案手法は，強校正のキャリブレーションと同等の精度を持つことを明らかにした．データセットの作成では，バドミントン映像の撮影実験を行い，様々なフットワークやラリーの映像データを取得した．このように，目的としたアルゴリズムの考案及びデータセットの取得を実現し，本研究は，順調に推移している．
|
| 今後の研究の推進方策 |
今後は，提案手法を利用した様々な３次元関節位置データセットを作成する．特に，同期精度の高いカメラを導入することで，これまで以上に精度の良い３次元関節位置データの生成を目的とする．従来の人工知能（Deep Learning）の学習に必要な選手の関節位置データは，画像上の２次元情報に限られていたが，提案手法を適用することで３次元関節位置データを作成できる．従って，人工知能による３次元関節位置データの学習方法を検証する．さらに，提案手法によって推定された３次元関節位置データを利用し，映像中の選手の関節角度，速度情報を計算することで，有益な戦術分析情報を選手へフィールドバックする．有益な戦術分析情報は，即時フィードバックが求められる．例えば，バドミントンの試合映像を撮影し，１日目の試合映像の３次元関節位置データから算出される戦術分析情報を２日目の試合前までにフィードバックできれば，次の試合の戦略に活かせるデータとなる．これまでの提案手法においても，そこに重点を置き，少ない労力かつ高精度な３次元関節位置の推定を実現したが，そのデータを用いた関節角度，速度情報などのフィードバックデータの生成においても少ない労力かつ高精度なデータ提供を目指す．このように現場での適用実験が可能となると，３次元関節位置データを利用したフィードバックシステムが完成し，スポーツ選手にとってより効果的なデータとなることが期待される．
|
