2017 Fiscal Year Research-status Report
カメラからの映像情報を入力とした完全自動３次元スポーツ解析技術
| Project/Area Number |
16K13006
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
池永 剛 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (90367178)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | スポーツ解析 / 映像処理 / 物体追跡 / ３次元解析 / 実時間処理 / GPU |
|---|
| Outline of Annual Research Achievements |
解析データに基づく高度なゲーム戦略の実現や、新たな情報を付加したTVスポーツ中継システムなどを対象として、複数の高精細ビデオカメラから撮影した実試合の映像情報を入力とした完全自動３次元スポーツシーン解析技術の実現を目指した取り組みを行っている。特に２９年度は、バレーボールを対象として、前年度までに確立したボールの３次元追跡結果を用いたイベント検出、ゲーム開始点の検出、選手の選手のパーツ追跡や動作検出などの課題を検討した。さらには、ボールや選手追跡の実時間化の検討にも着手した。イベント検出に関しては、軌跡の急峻さの度合いと、選手の肌色領域の面積を組み合わせた観測モデルなどを提案する事により、92.4%の精度で、スパイクやブロックといったイベントを検出できることを確認した。選手のパーツ追跡に関しては、ブロックシーンを対象に下半身と上半身の動きをそれぞれ97%、87%の精度で追跡できることを確認した。選手の動作検出に関しては、ボールや選手追跡で得られる3次元グローバル情報と２次元の局所的な動きフロー情報を組み合わせる事により、スパイク、ブロック、トス、レシーブといった動作をそれぞれ98.4%、95.5%、96.9%、97.0%の精度で識別できることを確認した。さらに、実時間化に関しては、視線方向を優先したスレッド割り当てや、バイナリ探索に基づく並列化手法をなどを提案し、GPUを用い、99%の精度を保ったまま、バレーボールのボール追跡を3.4msで実行できる見通しを得た。以上の成果を２件の原著学術論文、および８件の国際会議にて発信した。また、東京オリンピックやスポーツ解析の新たな産業創出への貢献を視野に入れ、関連企業との技術交流を積極的に行い、今後、これらの技術を産業につなげていく上で重要となる方向性に関して多くの知見を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
２年間に渡り、複数の高精細ビデオカメラから撮影した実試合の映像情報を入力とした、完全自動３次元スポーツシーン解析技術の実現のため、正確性（高いボール・選手追跡精度）、多様性（多様な球技に適用可）、実用性（実時間処理）、多機能性（試合状況などの情報を取得可）を可能とする基盤技術の確立を目指して取り組んできた。現在までの達成度としては、バレー、テニス、卓球等の多様な球技スポーツを対象にボールや選手の追跡技術を実現し、それぞれ99%を超える精度が得られることを確認しており、正確性や多様性に関しては、十分な達成度が得られている。一方、実用性で重要となるのが、実時間処理であるが、ボール追跡に関しては、低演算化、並列化により、GPU上で3.4msの処理時間を達成しており、見通しが得られつつある状況である。多機能性に関しては、ゲームの開始点の検出やイベントやさらには、ゲーム戦略に直接関わるアタック等の質に関する情報取得の取り組みを進めており、最終年度で、データバレーなど実際のバレー戦略システムに繋げられるような技術の実現が行えると考えている。これらの成果を４件の学術論文、１１件の国際会議、学会誌解説記事やなどを通じて積極的に発信した。また、関連企業との技術交流により、東京オリンピック等の実応用につながる見通しを得ている。以上の様に、研究成果面や情報発信面で順調な進捗が果たせていると考えている。
|
| Strategy for Future Research Activity |
３０年度（最終年度）は、引き続き複数の高精細ビデオカメラから撮影した実試合の映像情報を入力とした、完全自動３次元スポーツシーン解析技術の実現、改良を図る。機能面では、前年度までに確立した３次元ボールや選手追跡、イベント追跡などの出力結果を用いて、戦略解析の鍵となるアタックの効率などの戦略情報の自動抽出を目指す。このため、人手を介さずに、選手の役割（セッター、ブロッカーやアタッカーなど）といった意味情報を得る手法を考案する。実システムへの応用を目的とした実時間化に関しては、ボール追跡で得られた知見を最大限生かす形で、１２人の選手追跡を60fpsで実行可能な技術の実現を目指す。選手追跡は、ソフトウェア比較でボール追跡の数十倍の実行時間となっており、さらなる並列化を進めるとともに、空間的、時間的な冗長性を減らす事により演算量削減にも取り組む。さらには、イベント情報や他の提案技術の実時間化にも取り組む。また、現在まで提案技術の評価には、2014年高校総体の決勝戦のデータを用いてきたが、さらなるロバスト性向上のため、新たに試合を撮影するなどして、複数試合や複数チームのデータを用いた評価と改良に取り組む。さらに、２９年度に引き続き、各スポーツ協会や映像システム関連企業との技術交流を積極的に行い、将来の産業化において、鍵となる技術や応用機能、対象スポーツ、実用化につなげるための問題点などをクリアにする。
|
| Causes of Carryover |
論文投稿費や海外旅費として、学術論文誌や国際会議での発表費用を計上していたが、論文誌投稿の遅れや国際会議での非採録により、予定通りの予算執行ができなかった。また、スポーツの撮影や企業との打ち合わせのための国内旅費を申請していたが、TV会議が利用できたことにより、その分の予算が余る形となった。また、物品費に関しても、既保有のPCやGPUで十分な性能が得られたため、想定していた高性能PC等を購入する必要がなかった。これらの理由により、８０万円程度の繰越金が生じた。
最終年度は、全期間を通じた研究の集大成として、積極的な国際会議や学術論文誌等への投稿を通じて、成果の効果的な発信を目指す予定である。既に２件の学術論文誌に採録が決まっており（５月掲載予定）、また２件を投稿中で、年度末までにさらなる論文誌投稿を予定している。また、国際会議に関しても、ICPR2018に４件の成果を投稿し結果を待っている状況であるが、やはり年度末までに戦略的に投稿する予定である。さらに、将来の成果の活用を目指し、企業や関係機関との議論の場を増やしていく予定である。これらのための、旅費や論文投稿費等を計上している。
|
