Development of AI Board Extracting Table Tennis Strategy from Broadcast Video Using Virtual Data Generation Type Fuzzy Bagging
| Project/Area Number |
20K11981
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
林 勲 関西大学, 総合情報学部, 教授 (70258078)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 放送映像 / ラリー画像切り出し / オクリュージョン解決 / バーチャルデータ発生 / ファジィ推論 / アンサンブル機械学習 / 戦術戦略獲得 / スポーツ情報学 / 自動シーン切り出し / アンサンブル学習 / 知識獲得 / ファジィクラスタリング / AIスポーツ / 戦略分析 / 仮想データ |
|---|
| Outline of Research at the Start |
卓球競技の放送映像から戦略を自動獲得する卓球戦略アプリを開発する．実現には，観測データの誤識別を除去するため，バーチャルデータ(仮想データ)を発生するアンサンブル学習のファジィバギング法を提案する．また，放送映像から卓球試合中のボールや選手位置等を自動抽出し勝敗別にデータを分割して，ファジィバギング法により戦略クラスを獲得する．戦略はif-thenルールの知識の見える化を実現しているので，選手やコーチへの教示が容易である．
本システムにより，一般競技者への健康増進のためのスマホアプリとして，日本の卓球トップ選手へのプロ向けツールとして，新たなAIスポーツを提案する．
|
| Outline of Annual Research Achievements |
本研究は，ファジィクラスタリング手法によるアンサンブル学習法を用いて，放送映像から選手の攻撃戦略を獲得する卓球戦略アプリを開発する．本システムの実現には，放送映像からラリー画像を切り出し，選手とボール位置を推定し，オクリュージョンを解決し，サーブ回転を推定して，戦術戦略を獲得する必要がある．なお，サーブ回転や戦術戦略獲得において，観測データの不均衡を是正するため，バーチャルデータを発生するアンサンブル学習(pdi-Bagging/pdi-Boosting)を定式化する必要がある．2022年度では次の研究実績を得た．
1) 識別率の向上と観測データの不均衡を是正するpdi-Baggingに関する論文を国際学会で発表し国内学会誌で掲載された．また，pdi-Boostingの定式化を議論した論文を国内学会で発表した．
2) 2016年オリンピックの放送映像を用いて，2021年度は選手位置とボール位置の推定システムを開発した．2022年度はオクリュージョン解決によるボール軌跡の推定システムを開発した．
1) では，2-fold cross validationのパターン分類データに対して，5種類のバーチャルデータ発生法，バーチャルデータの発生個数，3種類のファジィメンバシップ関数，及び，バーチャルデータのクラス変更のための7種類の評価指標重みを変化させた場合の識別率について議論し国内学会誌に投稿し掲載された．また，pdi-Boostingの定式化を提案し国内学会で発表した．2) では，オクリュージョン領域以外のボールのラリー軌道を推定し，直交回帰と内挿法または外挿法を用いてオクリュージョン領域内のラリー軌道を推定するアルゴリズムを提案した．また，2016年のリオ・デ・ジャネイロオリンピック大会の卓球女子シングルスの放送映像を用いて，ラリー軌道の誤差から本手法の精度を評価した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の最終目的は，アンサンブル学習(pdi-Baggingとpdi-Boosting)を用いて，放送映像から選手の攻撃戦略を自動的に獲得する卓球戦術戦略アプリを開発する．2022年度までは次の研究実績を得ている．
1) 放送映像から不必要なシーンを削除し，ラリーシーンを分割して抽出する「映像分割システム」を開発した．
2) 戦術戦略獲得のためのアンサンブル学習(pdi-Bagging)によるクラスタリングの精度を確認した．
3) 2016年オリンピックの放送映像を用いて，現在，「映像抽出システム」を開発中である．
本システムは，映像分割システム，映像抽出システム，戦術戦略獲得システム，戦術戦略表示システムからなる．ただし，映像抽出システムは，補正前処理システム，ボール・選手抽出システム，オクリュージョン解決システム，補正後処理システムからなり，ボール・選手抽出システムは完了し，補正前後処理システムとオクリュージョン解決システムは改良中である．したがって，2022年度終了の時点で，実績は最終バージョンの約30%程度の完成度となっている．ただし，戦術戦略獲得のためのアンサンブル学習の基本アルゴリズムは約60%程度の完成度となっており，総合的に捉えると約40%から50%の完成度といえる．本研究期間は5年間であるので，2022年度時点での研究実績はおおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
卓球戦略ボードの全体構想をまとめると次の通りとなる．
1) 映像分割システムにより卓球の試合放送映像をそれぞれのラリーシーンに分割する．2) 2016年オリンピックの放送映像を用いて，映像抽出システムを開発する．3) アンサンブル学習(pdi-Baggingとpdi-Boosting)の基本アルゴリズムを開発する．4) アンサンブル学習(pdi-Baggingとpdi-Boosting)を用いて，卓球の横形戦略と縦形戦略を獲得する戦術戦略獲得システムを開発する．5) 戦術戦略表示システムを開発し，獲得した相手選手の戦略を可視化する．
1) と 3) に関しては，2022年度までに研究の成果が出ている．したがって，2)，4)，5) が今後の本研究の主たる内容となる．ただし，2) の観測データ収集システムでは，ボール軌跡が身体によって隠れるオクリュージョン問題を解決する手法をすでに提案している．また，ボール回転を選手の位置座標とボール軌道から推定する手法を現在開発中である．今後，3)のアンサンブル学習(pdi-Baggingとpdi-Boosting)の精度をさらに向上させ，4) において，戦術戦術空間にバーチャルデータを発生して認識率を向上させるアンサンブル学習を2023年度までに完成させ，相手選手の次戦術クラスの推定を行い，クラス間を移動する戦略獲得システムを開発する．最後に，5) として，2024年度までに，獲得戦略を可視化し，自軍の選手への助言と指導を行う戦略表示システムを開発して，卓球戦略ボードの精度と有用性を評価する．
|
Report
(3 results)
Research Products
(31 results)
