2020 Fiscal Year Research-status Report
Development of AI Board Extracting Table Tennis Strategy from Broadcast Video Using Virtual Data Generation Type Fuzzy Bagging
| Project/Area Number |
20K11981
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
林 勲 関西大学, 総合情報学部, 教授 (70258078)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 戦術戦略獲得 / 放送映像 / 自動シーン切り出し / スポーツ情報学 / バーチャルデータ発生 / ファジィ推論 / アンサンブル学習 / 知識獲得 |
|---|
| Outline of Annual Research Achievements |
本研究は，卓球競技の放送映像の欠損箇所にバーチャルデータ（仮想データ）を発生し，ファジィクラスタリング手法によるアンサンブル学習法（バギング法）を用いて，放送映像から選手の攻撃戦略を自動的に獲得する卓球戦略アプリを開発する．本システムの実現には，放送映像での不必要シーン除去プロセスの後，ボール軌跡や回転，選手位置などを自動取得する観測データ収集システムを開発する必要がある．また，観測データの誤識別を除去するため，バーチャルデータを発生するアンサンブル学習のファジィバギング法を定式化する必要がある．
初年度では，次の研究実績を得た．
1) 放送映像から不必要なシーンを削除し，シーンを分割する映像抽出システムを開発した．
2) 戦略獲得のためのファジィバギング法による深層推論型クラスタリングシステムとバーチャルデータ発生システムを開発した．
1) では，放送映像中の卓球台をキャリブレーションし，フレーム間の色情報の差分計算から不実用なシーンを除去するPythonコードとOpenCVコードによる映像抽出システムを開発した．多様な試合映像を用いた実験では，ほぼ完全なシーン切り出しを実現できた．また，2) では，ボール軌跡等の観測データを複数の攻撃パターンのクラスに自動分割するファジィバギング法を提案するため，深層推論型クラスタリングシステム（pdi-Bagging）の特性を数値実験により明らかにした．pdi-Baggingは，5種類のバーチャルデータ発生法とバーチャルデータのクラスのアノテーション法からなる．数値例では，混合クラスター中心型のバーチャルデータ発生法が最も高い識別率を得た．また，判別線付近で発生するバーチャルデータのアノテーションは，バーチャルデータの個数が少なくても識別率に与える影響が大きいことがわかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の最終目的は，ファジィクラスタリング手法によるアンサンブル学習法（バギング法）を用いて，放送映像から選手の攻撃戦略を自動的に獲得する卓球戦略アプリを開発する．
初年度では，次の研究実績を得た．
1) 放送映像から不必要なシーンを削除し，シーンを分割する映像抽出システムを開発した．
2) 戦略獲得のためのファジィバギング法による深層推論型クラスタリングシステムとバーチャルデータ発生システムを開発した．
本システムは，映像抽出システム，戦略獲得システム，戦略表示システムからなる．また，映像抽出システムは，シーン切り出し処理，ボール位置座標推定，選手観測点座標推定，ボール着弾位置時間推定，ボール回転推定からなる．したがって，2020年度の実績は最終バージョンの約15%程度の完成度となっている．しかし，戦略獲得のための深層推論型クラスタリングシステムとバーチャルデータ発生システムの基本アルゴリズムは約25%程度の完成度となっており，総合的に捉えると約20%の完成度といえる．本研究期間は5年間であるので，2020年度の研究実績はおおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
卓球戦略ボードの全体構想をまとめると次の通りとなる．
1) 映像抽出システムにより卓球の試合放送映像から不必要なシーンを削除する．2) リオ・デ・ジャネイロの放送映像を用いて，観測データ収集システムを開発する．3) ファジィバギング法を用いて，深層推論型クラスタリングシステムとバーチャルデータ発生システムを開発する．4) ファジィバギングを用いて卓球の横形戦略と縦形戦略を獲得する戦略獲得システムを開発する．5) 戦略表示システムを開発し，獲得した相手選手の戦略を可視化する．
1) と 3) に関しては，2020年度にすでに研究に着手しており，一部は，Pythonプログラムにより完成している．したがって，2)，4)，5) が今後の本研究の主たる内容となる．具体的には，1) の不必要シーン除去プロセスの後，2) では，ボール軌跡やボール回転，選手位置などを自動取得する観測データ収集システムを2022年度までに完成させる．また，3) では，相手選手のサーブの種類とサーブから3球目までの勝利データを複数クラスに分割するファジィクラスタリング法によるファジィバギングを2023年度までに完成させる．同様に，4) では，勝利データの疎の戦術空間にバーチャルデータを発生して認識率を向上させるバーチャルデータ発生システムを2023年度までに完成させ，相手選手の次戦術クラスの推定を行い，クラス間を移動する戦略獲得システムを開発する．最後に，5) として，2024年度までに，獲得戦略を可視化し，自軍の選手への助言と指導を行う戦略表示システムを開発して，卓球戦略ボードの精度と有用性を評価する．
|
| Causes of Carryover |
コロナ感染症のために，すべての出張がキャンセルとなり，当初計画と比較して，研究費の転用により，差額分が発生した．差額分は次年度に消耗品費として使用予定である．
|
