2022 Fiscal Year Research-status Report
Development of AI Board Extracting Table Tennis Strategy from Broadcast Video Using Virtual Data Generation Type Fuzzy Bagging
| Project/Area Number |
20K11981
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
林 勲 関西大学, 総合情報学部, 教授 (70258078)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 放送映像 / ラリー画像切り出し / オクリュージョン解決 / バーチャルデータ発生 / ファジィ推論 / アンサンブル機械学習 / 戦術戦略獲得 / スポーツ情報学 |
|---|
| Outline of Annual Research Achievements |
本研究は，ファジィクラスタリング手法によるアンサンブル学習法を用いて，放送映像から選手の攻撃戦略を獲得する卓球戦略アプリを開発する．本システムの実現には，放送映像からラリー画像を切り出し，選手とボール位置を推定し，オクリュージョンを解決し，サーブ回転を推定して，戦術戦略を獲得する必要がある．なお，サーブ回転や戦術戦略獲得において，観測データの不均衡を是正するため，バーチャルデータを発生するアンサンブル学習(pdi-Bagging/pdi-Boosting)を定式化する必要がある．2022年度では次の研究実績を得た．
1) 識別率の向上と観測データの不均衡を是正するpdi-Baggingに関する論文を国際学会で発表し国内学会誌で掲載された．また，pdi-Boostingの定式化を議論した論文を国内学会で発表した．
2) 2016年オリンピックの放送映像を用いて，2021年度は選手位置とボール位置の推定システムを開発した．2022年度はオクリュージョン解決によるボール軌跡の推定システムを開発した．
1) では，2-fold cross validationのパターン分類データに対して，5種類のバーチャルデータ発生法，バーチャルデータの発生個数，3種類のファジィメンバシップ関数，及び，バーチャルデータのクラス変更のための7種類の評価指標重みを変化させた場合の識別率について議論し国内学会誌に投稿し掲載された．また，pdi-Boostingの定式化を提案し国内学会で発表した．2) では，オクリュージョン領域以外のボールのラリー軌道を推定し，直交回帰と内挿法または外挿法を用いてオクリュージョン領域内のラリー軌道を推定するアルゴリズムを提案した．また，2016年のリオ・デ・ジャネイロオリンピック大会の卓球女子シングルスの放送映像を用いて，ラリー軌道の誤差から本手法の精度を評価した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の最終目的は，アンサンブル学習(pdi-Baggingとpdi-Boosting)を用いて，放送映像から選手の攻撃戦略を自動的に獲得する卓球戦術戦略アプリを開発する．2022年度までは次の研究実績を得ている．
1) 放送映像から不必要なシーンを削除し，ラリーシーンを分割して抽出する「映像分割システム」を開発した．
2) 戦術戦略獲得のためのアンサンブル学習(pdi-Bagging)によるクラスタリングの精度を確認した．
3) 2016年オリンピックの放送映像を用いて，現在，「映像抽出システム」を開発中である．
本システムは，映像分割システム，映像抽出システム，戦術戦略獲得システム，戦術戦略表示システムからなる．ただし，映像抽出システムは，補正前処理システム，ボール・選手抽出システム，オクリュージョン解決システム，補正後処理システムからなり，ボール・選手抽出システムは完了し，補正前後処理システムとオクリュージョン解決システムは改良中である．したがって，2022年度終了の時点で，実績は最終バージョンの約30%程度の完成度となっている．ただし，戦術戦略獲得のためのアンサンブル学習の基本アルゴリズムは約60%程度の完成度となっており，総合的に捉えると約40%から50%の完成度といえる．本研究期間は5年間であるので，2022年度時点での研究実績はおおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
卓球戦略ボードの全体構想をまとめると次の通りとなる．
1) 映像分割システムにより卓球の試合放送映像をそれぞれのラリーシーンに分割する．2) 2016年オリンピックの放送映像を用いて，映像抽出システムを開発する．3) アンサンブル学習(pdi-Baggingとpdi-Boosting)の基本アルゴリズムを開発する．4) アンサンブル学習(pdi-Baggingとpdi-Boosting)を用いて，卓球の横形戦略と縦形戦略を獲得する戦術戦略獲得システムを開発する．5) 戦術戦略表示システムを開発し，獲得した相手選手の戦略を可視化する．
1) と 3) に関しては，2022年度までに研究の成果が出ている．したがって，2)，4)，5) が今後の本研究の主たる内容となる．ただし，2) の観測データ収集システムでは，ボール軌跡が身体によって隠れるオクリュージョン問題を解決する手法をすでに提案している．また，ボール回転を選手の位置座標とボール軌道から推定する手法を現在開発中である．今後，3)のアンサンブル学習(pdi-Baggingとpdi-Boosting)の精度をさらに向上させ，4) において，戦術戦術空間にバーチャルデータを発生して認識率を向上させるアンサンブル学習を2023年度までに完成させ，相手選手の次戦術クラスの推定を行い，クラス間を移動する戦略獲得システムを開発する．最後に，5) として，2024年度までに，獲得戦略を可視化し，自軍の選手への助言と指導を行う戦略表示システムを開発して，卓球戦略ボードの精度と有用性を評価する．
|
| Causes of Carryover |
当初計画と比較し研究費の転用により差額分が発生した．差額分は次年度に消耗品費として使用予定である．
|
