2015 Fiscal Year Research-status Report
３D点群処理に基づく対人競技の振り返り学習支援システムの開発
| Project/Area Number |
15K01102
|
|---|
| Research Institution | Kinki University |
|---|
Principal Investigator |
田中 一基 近畿大学, 工学部, 教授 (60351657)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | スポーツ / 空手道競技 / ビデオ映像 / 振り返り学習支援 / 映像検索 / 3D点群 / 3Dポイントマッチング |
|---|
| Outline of Annual Research Achievements |
スポーツの練習者が自分の動作を撮影した映像から見たいシーンを検索して観察する「振り返り学習」の支援システムを開発する．空手道競技を対象として取り組んでおり，攻防シーンを自動検索する技術の開発，観察し易い方向からシーンが見えるように映像を加工する技術の開発，が主な課題である．
カラービデオカメラとデプスセンサ（具体的にはMicrosoft社のKinect）で同時に撮影し，シーン検索には，デプスセンサで得られる3Dデータ（3D点群とよぶ）による照合を行い，シーンの観察には，カラービデオカメラで得られるRGBデータを3D点群にマッピングし，その立体モデルを観察し易いよう回転させる．以上の方針で課題に取り組んでいるが，平成27年度は，基本的な攻防技の照合技術を開発したので，以下に述べる．また，立体モデルの回転に関しては【現在までの進捗状況】と【今後の研究の推進方策】で述べる．
空手道には「形（かた）」と呼ばれる，基本的な攻防技の個人練習がある．その動作を用いて攻防技の照合技術の開発に取り組んだ．ただし，速い動作をセンサで正確にとらえられないため，動作自体ではなく動作の開始直前と終了直後の姿勢を用いた照合法を検討した．この結果，3D点群の時間変化が極小となるタイミングを抽出して，3D点群を照合する技術を確立した．当初の計画では，照合に用いる特徴量として3Dモーメント不変量を考えていたが，種類の多い姿勢の照合に適さないことが分かった．このため，検索対象の姿勢の3D点群と，検索クエリとしてシステムに入力する3D点群とを直接比較する手法（3Dポイントマッチング）を開発し，実験により有効性を確認した．本技術は，形の練習支援に限れば，シーン検索技術として実用化が可能と考えられる．また，二者の姿勢の組み合わせにより，対人の攻防シーンを検索できる見通しが得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成27年度の研究実施計画の３項目の進捗状況を述べ，評価する．
(1)２台のデプスセンサから得る3D点群を合体させる技術の開発： 回転させて観察するための立体モデルを得る技術であるが，センシングのタイミングの違いによるずれが予想より大きく，立体モデルの完成度に問題が生じた（精度不良）．このため，デプスセンサ単体で得られる3D点群のみで観察を支援する手法の評価を行っており，この取り組みの中で，平成28年度に予定していたRGBデータの3D点群へのマッピングを前倒しで進めている．
(2)組手競技の攻防シーンの分類： 攻防の基本技の各姿勢の3D点群データを収集し，実験評価に用いている．
(3)各動作を区別できる3D点群特徴によるシーン検索技術の開発： 速い動作中の時系列3D点群は，同じフレームであっても形状変動が大きく，これらから得られる特徴量は照合に適さないことが分かった．このため，動作の開始直前と終了直後の姿勢の3D点群自体を特徴量とし，3Dポイントマッチングによる検索技術に基本的な見通しを得た．
以上，(1)は取り組みを修正して進行中，(2)(3)はほぼ計画どおりに進んでいる．
|
| Strategy for Future Research Activity |
推進方策
ヒューリスティクスを併用し，“使える”シーン検索技術を実現： 研究協力者（大学空手道部監督）などの意見から得られたヒューリスティクスを取り入れ，実用的な技術を開発する．たとえば，動作の振り返り学習は，ある動作を行った直後に「今の動きを確認したい」という動機で積極的に行われることが多いことが分かっており，検索の対象領域（時間領域）を絞ることで検索の精度向上が期待できる．
問題点と対応策
２台のデプスセンサから得る3Dモデルの精度不良は，センサ自体の技術的な問題であり，本研究の範囲で解決できない．このため今後もデプスセンサ単体のみで開発を行い，データの欠落で著しく見栄えが悪い部分は球体CGで補うなどの対応により進めていく．
|
