2019 Fiscal Year Research-status Report
タブレット端末ベースの簡単便利なモーションキャプチャによる体育の協働学習支援
| Project/Area Number |
18K02876
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
田中 一基 近畿大学, 工学部, 教授 (60351657)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | スポーツ映像 / 観察支援 / 視点変更 / 画像処理 / 関節認識 / ホモグラフィ変換 / カメラキャリブレーション / 協働学習 |
|---|
| Outline of Annual Research Achievements |
タブレット端末で撮影したスポーツの映像からプレイヤの動作をキャプチャし，動作を三次元CGで表現して観察する手法の開発に取り組んでいる．本年度は，(1)フットワークのトップビュー（プレイヤの真上から見下ろした画像）の観察技術の確立，(2)AR技術への応用，を行った．それぞれ以下に詳しく述べる．
(1)フットワークのトップビュー観察技術
処理速度の観点から観察対象の動作としてフットワークを選び，任意の位置からプレイヤを撮影した映像から，足先の動きだけをトップビューから観察できるCGを生成する技術を開発した．トップビューとする理由は，フットワークの観察に適しているとの仮説に基づいている．足先のキャプチャにはOpenPoseライブラリを用いている．動作を行う床面には白線等による幾何的なラインを引き，その幾何学情報を利用するホモグラフィ変換により，映像をトップビューの床面および足先のCGに変換する．ホモグラフィ変換にはラインの消失点を用いる従来技術を用いるが，消失点の安定検出のためパーティクルフィルタを従来技術に適用し，ノイズによる変動に強いホモグラフィ変換技術を開発した．
(2)AR技術への応用
前述のパーティクルフィルタを適用したホモグラフィ変換技術は，斜め方向から撮影した平面（(1)の場合は床面）の映像を，正面からの映像（(1)の場合はトップビュー）に変換するものである．この技術の応用先としてARのアノテーションが考えられる．建物内部の廊下の壁面を撮影した映像を，本技術により正面映像に変換し，そこにアノテーションを重畳して逆変換すれば，廊下を歩く人へのナビゲーション映像として利用できる．この技術を学会発表した（16th Int’l Conf. on Technology, Knowledge, and Society，コロナ禍のためvirtual presentation）．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
プレイヤの関節座標の安定的な取得には，関節部の局所特徴のトラッキングよりも関節認識の深層学習モデルが適していることが分かり，深層学習モデルを用いるOpenPoseライブラリを利用している．当初の目標では全身の関節認識を行うが，関節認識の処理はタブレット端末では計算負荷が大きいため，GPUを搭載したPCに映像を送って認識結果を受け取る仕組みを開発した．しかし，撮影してから三次元CG映像を観察できるまでの所要時間の短縮は不十分であり，GPUのさらなる高性能化・低コスト化と5Gの普及を待たざるを得ない状況である．そこで以下の２つのアプローチを考え，それぞれの手法を開発した．
(1)観察対象の動作としてフットワークを選び，足先および床面をトップビューから見れるCGに限定することで計算負荷を減らす．足先と床面に限定すれば，三次元座標を陽に算出することなく，ホモグラフィ変換で可能となるためである．ただし，足先の検出のためGPU搭載PCが必要である．
(2)CG生成を行わず，映像のトップビューへの変換のみを行う．タブレット端末のみで可能であるが，足先以外の画像領域もホモグラフィ変換するので，床面に接触していない下半身や上半身は不自然な画像となる（ホモグラフィ変換は平面の変換であるため）．
実験対象者による実践実験をどちらの手法で行うのか，あるいは両方とも行うかについて，現在，最終的な検討の段階である．
|
| Strategy for Future Research Activity |
本研究課題の最終目的は，スポーツ動作の観察視点を変更する技術が体育の協働学習を支援する効果を，明らかにすることである．この実践実験を可能とする「フットワークのトップビュー観察技術」を開発したので，当初の予定どおりに実験を進めたい．しかし，体育でフットワークが重視される種目として創作ダンスや剣道（剣道の運足）を考えたが，コロナ禍のため，学校の体育現場に研究の協力依頼を申し込める状況ではなく，見通しが全く立たない．代替手段として，研究代表者の所属する大学の学生（主にゼミ生）による実験が現実的であるが，これについても，しばらくの間は協働作業が禁じられている．このため，すでに開発した２つの手法（足先および床面のトップビューCG生成，CG生成を行わない映像のトップビュー変換）の両方について基礎的な評価を単独で進め，実践実験が可能な状況になれば実験に移行する．
また，関節認識にOpenPoseライブラリを用いているが，最新の研究で，高精度な関節認識を実現した深層学習モデルHRNet（ポーズ推定タスクでState of the art＠CVPR2019）が提案されており，上述の取り組みに並行して検証し，有用であればOpenPoseに替えて導入する．
|
| Causes of Carryover |
3月末に予定していた研究打ち合わせの出張（カナダ・カルガリー大学，3/24～25）および学会出張（米国イリノイ大学，3/26～27）がコロナ禍のため中止となった．このため旅費312,600円を計上できなくなり，次年度使用額となった．次年度の海外出張旅費とする予定である．
|
Research Products
(1 results)
