• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of AI Board Extracting Table Tennis Strategy from Broadcast Video Using Virtual Data Generation Type Fuzzy Bagging

Research Project

Project/Area Number 20K11981
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61040:Soft computing-related
Research InstitutionKansai University

Principal Investigator

林 勲  関西大学, 総合情報学部, 教授 (70258078)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywords放送映像 / ラリー画像切り出し / オクリュージョン解決 / バーチャルデータ発生 / ファジィ推論 / アンサンブル型機械学習 / 戦術戦略獲得 / スポーツ情報学 / アンサンブル機械学習 / 自動シーン切り出し / アンサンブル学習 / 知識獲得 / ファジィクラスタリング / AIスポーツ / 戦略分析 / 仮想データ
Outline of Research at the Start

卓球競技の放送映像から戦略を自動獲得する卓球戦略アプリを開発する.実現には,観測データの誤識別を除去するため,バーチャルデータ(仮想データ)を発生するアンサンブル学習のファジィバギング法を提案する.また,放送映像から卓球試合中のボールや選手位置等を自動抽出し勝敗別にデータを分割して,ファジィバギング法により戦略クラスを獲得する.戦略はif-thenルールの知識の見える化を実現しているので,選手やコーチへの教示が容易である.
本システムにより,一般競技者への健康増進のためのスマホアプリとして,日本の卓球トップ選手へのプロ向けツールとして,新たなAIスポーツを提案する.

Outline of Annual Research Achievements

本研究は,ファジィクラスタリング手法によるアンサンブル学習法を用いて,放送映像から選手の攻撃戦略を獲得する卓球戦略アプリを開発する.本システムの実現には,放送映像からラリー画像を切り出し,選手とボール位置を推定し,オクリュージョンを解決し,サーブ回転を推定して,戦術戦略を獲得する必要がある.なお,サーブ回転や戦術戦略獲得において,観測データの不均衡を是正するため,バーチャルデータを発生するアンサンブル学習(pdi-Bagging/pdi-Boosting)を定式化する必要がある.2023年度では次の研究実績を得た.
1) 観測データの不均衡を是正するpdi-Boostingの手法と卓球戦術戦略の獲得手法を国際学会で発表した.また,指向型バーチャルデータ発生を国内学会で発表した.さらに,バーチャルデータ発生型アンサンブル学習の特許を出願し取得した.
2) 2016年オリンピックの放送映像を用いて,2023年度はボール回転の推定システムを開発中である.
1) では,パターン分類データに対して,5種類のバーチャルデータ発生法,バーチャルデータの発生個数,3種類のファジィメンバシップ関数,及び,バーチャルデータのクラス変更のための7種類の評価指標重みを変化させた場合の識別率についての研究を国際学会で発表した.また,pdi-Boostingを用いた卓球戦術戦略獲得への取り組みを国際学会で発表した.さらに,バーチャルデータ発生型アンサンブル学習の特許を2020年に出願していたが2023年度に取得した.2) では,オクリュージョン領域以外のボール位置を推定し,レシーバーの身体座標情報からサーバーのボール回転を推定するアルゴリズムを提案中である.なお,動画は,2016年のリオ・デ・ジャネイロオリンピック大会の卓球女子シングルスの放送映像を用いている.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の最終目的は,アンサンブル学習(pdi-Baggingとpdi-Boosting)を用いて,放送映像から選手の攻撃戦略を自動的に獲得する卓球戦術戦略アプリを開発する.2023年度までは次の研究実績を得ている.
1) 放送映像から不必要なシーンを削除し,ラリーシーンを分割して抽出する「映像分割システム」を開発した.
2) 戦術戦略獲得のためのアンサンブル学習(pdi-Boosting)によるクラスタリングの精度を確認した.また,バーチャルデータ発生型アンサンブル学習の特許を出願し取得した.
3) 2016年オリンピックの放送映像を用いて,現在,「映像抽出システム」を開発中である.
本システムは,映像分割システム,映像抽出システム,戦術戦略獲得システム,戦術戦略表示システムからなる.ただし,映像抽出システムは,補正前処理システム,ボール・選手抽出システム,オクリュージョン解決システム,補正後処理システムからなり,ボール・選手抽出システム,補正前後処理システム,オクリュージョン解決システム完成している.現在,ボール回転認識を改良中である.したがって,2023年度終了の時点で,実績は最終バージョンの約40%程度の完成度となっている.ただし,戦術戦略獲得のためのアンサンブル学習の基本アルゴリズムは約70%程度の完成度となっており,総合的に捉えると約50%から60%の完成度といえる.本研究期間は5年間であるので,2023年度時点での研究実績はおおむね順調に進展しているといえる.

Strategy for Future Research Activity

卓球戦略ボードの全体構想をまとめると次の通りとなる.
1) 映像分割システムにより卓球の試合放送映像をそれぞれのラリーシーンに分割する.2) 2016年オリンピックの放送映像を用いて,映像抽出システムを開発する.3) アンサンブル学習(pdi-Baggingとpdi-Boosting)の基本アルゴリズムを開発する.4) アンサンブル学習(pdi-Baggingとpdi-Boosting)を用いて,卓球の横形戦略と縦形戦略を獲得する戦術戦略獲得システムを開発する.5) 戦術戦略表示システムを開発し,獲得した相手選手の戦略を可視化する.
1) と 3) に関しては,2023年度までに研究の成果が出ている.したがって,2),4),5) が今後の本研究の主たる内容となる.ただし,2) の観測データ収集システムでは,ボール軌跡が身体によって隠れるオクリュージョン問題を解決する手法はすでに提案しており,現在,精度を評価中である.また,ボール回転を選手の位置座標とボール軌道から推定する手法を現在開発中である.さらに,3)のアンサンブル学習(pdi-Baggingとpdi-Boosting)の精度は向上しており,4) において,戦術戦略空間にバーチャルデータを発生して認識率を向上させるアンサンブル学習を早急に完成させ,相手選手の次戦術クラスの推定を行い,クラス間を移動する戦略獲得システムを開発する.最後に,5) として,2024年度までに,獲得戦略を可視化し,自軍の選手への助言と指導を行う戦略表示システムを開発して,卓球戦略ボードの精度と有用性を評価する.

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (39 results)

All 2023 2022 2021 2020 Other

All Int'l Joint Research (2 results) Journal Article (3 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (21 results) (of which Int'l Joint Research: 4 results,  Invited: 5 results) Remarks (10 results) Patent(Industrial Property Rights) (3 results)

  • [Int'l Joint Research] Boston University/Dr.Arash Yazdanbakhsh(米国)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] Boston University, Arash Yazdanbakhsh(米国)

    • Related Report
      2022 Research-status Report
  • [Journal Article] Formulation of pdi-Bagging and its Evaluation2023

    • Author(s)
      入江 穂乃香,林 勲
    • Journal Title

      Journal of Japan Society for Fuzzy Theory and Intelligent Informatics

      Volume: 35 Issue: 1 Pages: 603-614

    • DOI

      10.3156/jsoft.35.1_603

    • ISSN
      1347-7986, 1881-7203
    • Year and Date
      2023-02-15
    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] パネル討論「人工知能と横幹知」2021

    • Author(s)
      高橋 大志,津本 周作,堤 富士雄,松尾 豊,栗原 聡,北川 源四郎,椹木 哲夫,林 勲
    • Journal Title

      横幹

      Volume: Vol.14, No.2 Pages: 100-112

    • NAID

      130008007519

    • Related Report
      2020 Research-status Report
  • [Journal Article] データサイエンスから視るAI卓球の可能性2020

    • Author(s)
      林 勲,入江 穂乃香,関谷 侑希,中山 雅宗,八瀬 哲志
    • Journal Title

      統計

      Volume: 6月号 Pages: 23-28

    • Related Report
      2020 Research-status Report
  • [Presentation] Influence of Number of Virtual Data Generated in pdi-Bagging2023

    • Author(s)
      Honoka Irie, Tadashi Nakano, Isao Hayashi
    • Organizer
      Proc. of the 14th EAI International Conference on Bio-Inspired Information and Communications Technologies (BICT2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Acquisition of Ball Trajectory and Tactics in Table Tennis from Broadcast Video2023

    • Author(s)
      Isao Hayashi, Honoka Irie, Feng Yangyun, Kazuto Yoshida, Miran Kondric
    • Organizer
      Proc. of the 14th EAI International Conference on Bio-Inspired Information and Communications Technologies (BICT2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Evaluation of Bagging-type Ensemble Method Generating Virtual Data2023

    • Author(s)
      Honoka Irie, Isao Hayashi
    • Organizer
      Proc. of the 20th World Congress of the International Fuzzy Systems Association (IFSA2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] pdi-BoostingGでの指向型バーチャルデータの提案2023

    • Author(s)
      入江 穂乃香,林 勲
    • Organizer
      第39回ファジィシステムシンポジウム講演論文集
    • Related Report
      2023 Research-status Report
  • [Presentation] AIの基礎と応用 ー 卓球動作解析や医療応用2023

    • Author(s)
      林 勲
    • Organizer
      大阪公立大学医学部講演会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] AI難民をつくらない人工知能2023

    • Author(s)
      林 勲
    • Organizer
      関西大学東西学術研究所/経済・政治研究所/法学研究所 2023年度3研究所合同シンポジウム「AI社会の現在」
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 卓球放送映像でのボール軌道追跡のためのオクルージョン処理の提案2023

    • Author(s)
      馮 楊蘊,入江 穂乃香,林 勲
    • Organizer
      第27回関西大学先端科学技術シンポジウムポスター発表,Paper ID: No.105
    • Related Report
      2022 Research-status Report
  • [Presentation] pdi-Bagging: A Proposal of Bagging-type Ensemble Method Generating Virtual Data2023

    • Author(s)
      Honoka Irie, Isao Hayashi
    • Organizer
      Proc. of the 15th International Conference on Agents and Artificial Intelligence (ICAART2023), Vol.3, pp.956-963
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] AIデータサイエンスから視るしなやかな意思決定2023

    • Author(s)
      林 勲,入江 穂乃香
    • Organizer
      日本機械学会関西支部シニア会第17期総会
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] アンサンブル学習pdi-BoostingGの定式化とその評価2022

    • Author(s)
      入江 穂乃香,林 勲
    • Organizer
      第38回ファジィシステムシンポジウム講演論文集,pp.394-401
    • Related Report
      2022 Research-status Report
  • [Presentation] 卓球放送映像から獲得するボール軌道のオクルージョン処理とその評価2022

    • Author(s)
      馮 楊蘊,入江 穂乃香,林 勲
    • Organizer
      第38回ファジィシステムシンポジウム講演論文集,pp.733-740
    • Related Report
      2022 Research-status Report
  • [Presentation] ファジィAIで人を育てる卓球ロボットの開発2022

    • Author(s)
      林 勲
    • Organizer
      関西大学科学技術振興会2022年度第3回研究会「学の実化の実践! 関西大学と企業の技術展」
    • Related Report
      2022 Research-status Report
  • [Presentation] データの不均衡を回避ししなやかな知識を獲得するアンサンブル機械学習2022

    • Author(s)
      林 勲,入江 穂乃香
    • Organizer
      日本機械学会関西支部第240回機械技術フィロソフィ懇話会「データサイエンスの世界から視るしなやかな意思決定理論」
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] アンサンブル型機械学習を用いた画像不均衡データでの車種識別法の提案2022

    • Author(s)
      入江 穂乃香,林 勲,堅多 達也
    • Organizer
      第26回関西大学先端科学技術シンポジウムポスター発表,Paper ID: No.53
    • Related Report
      2021 Research-status Report
  • [Presentation] 放送映像からの卓球ボール軌道の検出とラリー軌跡の可視化2022

    • Author(s)
      馮 楊蘊,入江 穂乃香,林 勲
    • Organizer
      第26回関西大学先端科学技術シンポジウムポスター発表,Paper ID: No.70
    • Related Report
      2021 Research-status Report
  • [Presentation] AIの活用現場2021

    • Author(s)
      林 勲
    • Organizer
      大学コンソーシアム大阪2021年度AI講座
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] バーチャルデータとルールを継承するアンサンブル学習pdi-Boostingの提案2021

    • Author(s)
      入江 穂乃香,林 勲
    • Organizer
      第37回ファジィシステムシンポジウム講演論文集,pp.118-123
    • Related Report
      2021 Research-status Report
  • [Presentation] pdi-Baggingを用いた大規模屋外駐車場での車種識別2021

    • Author(s)
      入江 穂乃香,林 勲,堅多 達也
    • Organizer
      インテリジェント・システム・シンポジウム2021講演論文集,pp.207-212
    • Related Report
      2021 Research-status Report
  • [Presentation] 深層学習を用いて卓球放送映像から獲得するボール軌道と戦術知表現2021

    • Author(s)
      林 勲,馮 楊蘊,入江 穂乃香
    • Organizer
      第12回横幹連合コンファレンス講演論文集,Paper ID: No.C-3-3
    • Related Report
      2021 Research-status Report
  • [Presentation] pdi-Bagging における発生バーチャルデータのクラス決定法の提案2020

    • Author(s)
      入江 穂乃香,林 勲
    • Organizer
      第34回人工知能学会全国大会講演論文集,Paper ID: No.103-GS-8-04
    • Related Report
      2020 Research-status Report
  • [Presentation] 放送映像からの卓球競技の軌道追跡2020

    • Author(s)
      林 勲,関谷 侑希,入江 穂乃香,荻野 正樹
    • Organizer
      第36回ファジィシステムシンポジウム講演論文集,pp.263-268
    • Related Report
      2020 Research-status Report
  • [Remarks] 関西大学総合情報学部 林 勲

    • URL

      https://www.kansai-u.ac.jp/Fc_inf/fm/staff/ihaya.html

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Remarks] 林 勲 研究室 研究業績

    • URL

      https://www.cbii.kutc.kansai-u.ac.jp/publications_j.html

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Remarks] Isao Hayashi Lab, Publications

    • URL

      https://www.cbii.kutc.kansai-u.ac.jp/publications_e.html

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Remarks] Kansai University e-bulletin No.14

    • URL

      https://www.kansai-u.ac.jp/Kokusai/e-bulletin/archive/14.php

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Remarks] 関大研究Stories 林 勲

    • URL

      https://www.kansai-u.ac.jp/stories/8_hayashi.html

    • Related Report
      2022 Research-status Report
  • [Remarks] 関西大学 林研究室 研究業績

    • URL

      https://www.cbii.kutc.kansai-u.ac.jp/publications_j.html

    • Related Report
      2021 Research-status Report
  • [Remarks] 関大研究 Stories

    • URL

      https://www.kansai-u.ac.jp/stories/8_hayashi.html

    • Related Report
      2021 Research-status Report
  • [Remarks] Kansai University e-bulletin

    • URL

      https://www.kansai-u.ac.jp/Kokusai/e-bulletin/archive/14.php

    • Related Report
      2021 Research-status Report
  • [Remarks] 関西大学学術情報システム

    • URL

      https://gakujo.kansai-u.ac.jp/profile/ja/a51325WacL8c2d208abaa1c2cce..html

    • Related Report
      2021 Research-status Report
  • [Remarks] 関西大学先端科学技術推進機構研究員紹介

    • URL

      https://www.kansai-u.ac.jp/ordist/staff/data/id016597.html

    • Related Report
      2021 Research-status Report
  • [Patent(Industrial Property Rights)] 戦術分析装置およびその制御方法,並びに制御プログラム2021

    • Inventor(s)
      林 勲,入江 穂乃香
    • Industrial Property Rights Holder
      林 勲,入江 穂乃香
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2021-152431
    • Filing Date
      2021
    • Related Report
      2021 Research-status Report
  • [Patent(Industrial Property Rights)] 学習装置およびその学習方法,制御プログラム2020

    • Inventor(s)
      林 勲,入江 穂乃香
    • Industrial Property Rights Holder
      林 勲,入江 穂乃香
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2020-051496
    • Filing Date
      2020
    • Acquisition Date
      2023
    • Related Report
      2023 Research-status Report
  • [Patent(Industrial Property Rights)] 学習装置およびその学習方法、制御プログラム2020

    • Inventor(s)
      林 勲,入江 穂乃香
    • Industrial Property Rights Holder
      林 勲,入江 穂乃香
    • Industrial Property Rights Type
      特許
    • Filing Date
      2020
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi