• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

数秒後の3次元スポーツ動作をリアルタイムで予測する継続学習型AIの確立

研究課題

研究課題/領域番号 23K10712
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分59020:スポーツ科学関連
研究機関福井大学

研究代表者

張 潮  福井大学, 学術研究院工学系部門, 講師 (70803419)

研究期間 (年度) 2023-04-01 – 2026-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2025年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2023年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
キーワード人物動作分析 / 深層学習
研究開始時の研究の概要

近年、AIによる人物の動作理解・予測に関する手法が多く提案されている。動作データのような時系列データを処理するために様々な手法がある。これらの手法は目の前で起きたことから次に起こりそうなことを前後関係に従って予測することが可能であるため、時間の制約を受ける人物動作予測の問題に適している。しかし、決定論的な人物動作予測モデルの問題点としては、短期予測(0.5秒未満)では有望な結果を得られるが、長期予測(1秒以上)では苦戦を強いられるのが現状である。本研究では、独自の動作予測法を基に、事前のデータ収集を必要としない、リアルタイムで継続的に学習可能な動作予測AIモデルの実現を目指している。

研究実績の概要

近年、深層学習による人物の動作センシング・理解・予測に関する手法が多く提案されている。既存手法を用いた決定論的な人物動作予測モデルの問題点としては、短期予測では有望な結果を得られるが、長期予測では苦戦を強いられるのが現状である。その原因は、人間の動作は本質的に確率的なプロセスであり、予測された1つの動作は、将来起こりうる複数の動作につながる可能性があるためである。この問題に対し、本研究では、ニューラルネットワークの一種である混合密度ネットワークを用いた独自の混合動作予測法を基に、事前のデータ収集を必要としない、継続的に学習可能な動作予測AIモデルの実現を目指している。

そのため、今年度は、主に「制御可能な人体動作予測のための分離表現の学習」および「人物向きを考慮した脚の動作学習」を提案した。制御可能な人体運動予測により、過去に観測された動作シーケンスに基づいて、部分的な身体の動きを制御しながら、将来の複数の人間の動きを予測することができるようになった。また、自然な人間の動作遷移は、向きの変化に対応するために現実的な脚の動きを取り入れるべきと考えており、向きの変化を考慮することで、より自然な動作遷移を実現できた。さらに、関連する最適化アルゴリズム、学習モデルなどを複数提案した。これらの研究成果について、ジャーナル論文6編、国際会議5編を発表した。以上が今年度行った本研究についての報告である。

さらに次年度の計画として,教師なし学習法の検討および自己教師あり学習の導入に取り組む.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

今年度の研究では、新しい動作分離フレームワークの下で、制御可能な人体動作予測を実現した。提案ネットワークは、現実的な人間の動きをモデル化し、1回の学習で、所望の身体部位の制御を実現できた。また、サンプリング手法を拡張し、事前学習されたデコーダに適応することで、予測の多様化を実現できた。さらに、入力を柔軟に設計することにより、人間の動作予測における他の制御形態(例えば終了ポーズの制御)にも寄与することが可能になった。実験により、提案手法が制御可能な人体動作予測において最先端の性能に達成することが定性的、定量的に実証された。また、行動条件付き確率的人体動作予測の課題に対して、遷移学習に着目した新しい解決策を提示した。これには、脚の動きに対する考察を含めた。具体的には、指定された動作ラベルを持つターゲット動作を予測し、次に、必要とされる脚のダイナミクスを具体的にモデル化するための中間動作を生成することで、動作予測タスクを2つに分割できた。3つの人体動作データセットを用いた実験により、提案手法が人体動作の中間生成と予測において最先端の性能に達成することを定性的かつ定量的に示した。これらの研究の成果について,ジャーナル論文6編、国際会議5編を発表しており,次年度以降の研究にとって重要である。以上の理由から、おおむね順調に進展していると判断した。

今後の研究の推進方策

今年度に開発したモデルをさらに改良し、学習データへの依存度を低減する。自己教師付き学習は、入力のある部分を別の部分から学習するようにモデルが自己学習する機械学習プロセスであり、これを用いることで、動作ラベルを自動生成することが可能になり、教師なし問題を教師あり問題に変換できる。さらいに、可視化モデルを利用し、被験者の交代やシーンの切り替えに対応するために継続学習のスキームの導入を目指す。過去の動作データを継続的に蓄積し、さらに前の段階における学習済のネットワークが出力したデータを継続学習時の追加データとあわせて学習することで、AIモデルの破局的忘却に対処する。また、今年度の残りの成果をまとめ、国際会議やジャーナルで順次発表を行っていく予定である。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (11件)

すべて 2024 2023

すべて 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 2件) 学会発表 (5件) (うち国際学会 5件)

  • [雑誌論文] Learning disentangled representations for controllable human motion prediction2024

    • 著者名/発表者名
      Gu Chunzhi、Yu Jun、Zhang Chao
    • 雑誌名

      Pattern Recognition

      巻: 146 ページ: 109998-109998

    • DOI

      10.1016/j.patcog.2023.109998

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Chaotic vegetation evolution: leveraging multiple seeding strategies and a mutation module for global optimization problems2024

    • 著者名/発表者名
      Zhong Rui、Zhang Chao、Yu Jun
    • 雑誌名

      Evolutionary Intelligence

      巻: - 号: 4 ページ: 2387-2411

    • DOI

      10.1007/s12065-023-00892-6

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] SRIME: a strengthened RIME with Latin hypercube sampling and embedded distance-based selection for engineering optimization problems2024

    • 著者名/発表者名
      Zhong Rui、Yu Jun、Zhang Chao、Munetomo Masaharu
    • 雑誌名

      Neural Computing and Applications

      巻: 36 号: 12 ページ: 6721-6740

    • DOI

      10.1007/s00521-024-09424-4

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] A multi-in and multi-out dendritic neuron model and its optimization2024

    • 著者名/発表者名
      Ding Yu、Yu Jun、Gu Chunzhi、Gao Shangce、Zhang Chao
    • 雑誌名

      Knowledge-Based Systems

      巻: 286 ページ: 111442-111442

    • DOI

      10.1016/j.knosys.2024.111442

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Orientation-aware leg movement learning for action-driven human motion prediction2024

    • 著者名/発表者名
      Gu Chunzhi、Zhang Chao、Kuriyama Shigeru
    • 雑誌名

      Pattern Recognition

      巻: 150 ページ: 110317-110317

    • DOI

      10.1016/j.patcog.2024.110317

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Surrogate Ensemble-Assisted Hyper-Heuristic Algorithm for Expensive Optimization Problems2023

    • 著者名/発表者名
      Zhong Rui、Yu Jun、Zhang Chao、Munetomo Masaharu
    • 雑誌名

      International Journal of Computational Intelligence Systems

      巻: 16 号: 1 ページ: 169-169

    • DOI

      10.1007/s44196-023-00346-y

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Improving Helmet-Wearing Detection with Human Detection2023

    • 著者名/発表者名
      Chao Zhang, Hiroshi Kawashima, Jun Yu, Chunzhi Gu
    • 学会等名
      NICOGRAPH International 2023
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Augment with Teacher and Distill with Student: A Two-Stage Teacher-Student Network Training Scheme for 3D Human Segmentation2023

    • 著者名/発表者名
      Chao Zhang, Katsuya Hotta, Takuma Ueshima, Jun Yu, Chunzhi Gu
    • 学会等名
      12th International Conference on Computing and Pattern Recognition (ICCPR 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Generating Smooth Interpretability Map for Explainable Image Segmentation2023

    • 著者名/発表者名
      Takaya Okamoto, Chunzhi Gu, Jun Yu, Chao Zhang
    • 学会等名
      IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Improving Sailfish Optimizer with Population Switching Strategy and Random Mutation Strategy2023

    • 著者名/発表者名
      Fei Peng, Rui Zhong, Qinqin Fan, Chao Zhang, Jun Yu
    • 学会等名
      The 7th Asian Conference on Artificial Intelligence Technology (ACAIT2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Weakly-Supervised Motion In-Betweening Learning via Pose Priors2023

    • 著者名/発表者名
      Shun Maeda, Chunzhi Gu, Jun Yu, Chao Zhang
    • 学会等名
      6th Artificial Intelligence and Cloud Computing Conference
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi