2019 Fiscal Year Research-status Report
画像・音声認識による剣道競技者追跡と有効打突判定条件の定量化
| Project/Area Number |
17K01708
|
|---|
| Research Institution | Sendai National College of Technology |
|---|
Principal Investigator |
渡邊 隆 仙台高等専門学校, 総合工学科, 准教授 (30634620)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本郷 哲 仙台高等専門学校, 総合工学科, 教授 (80271881)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | モーションキャプチャー / 運動解析・評価 / 音声認識・理解 |
|---|
| Outline of Annual Research Achievements |
“打突の有効性判定(実験1)”実現のための「充実した気勢」の評価については，これまでの研究により，竹刀の打突部と打突部位(面，小手，胴，突き)に振動センサ，ディジタル無線装置，信号処理用マイコンを有する超小型デバイスを取り付けたシステムを構築することでその有効性を評価し，1ms程度の精度で打突に要する時間の検知が可能になった．令和1年度は，精度向上を目的として電波強度と加速度の積分値をハイブリッドした方法および振動や音をディープラーニング手法を応用して分類する方法について検討を行った．
また，「竹刀の打突部で打突部位を刃筋正しく打突」の評価として，2名の競技者の打突部位を判別するために，4種の有効打突(面，小手，胴，突き)について, 打突の瞬間を競技者直上から捉えた画像計4,000枚を学習用データとした機械学習を適用し，80％～100％の確率で判別が可能であることを確認した．この成果は日本機械学会東北学生会第50回卒業研究発表講演会にて発表を行った．また，隠蔽が発生しやすい「胴」の打突動作に特化した竹刀の追跡を目的として，競技者直上から捉えた画像からテンプレートマッチングにて競技者を認識し，処理領域を限定した二値化処理後の面積評価により，2本の竹刀を70％以上の確率で追跡することに成功した．この成果は，日本機械学会東北学生会第50回卒業研究発表講演会にて発表を行った．
“競技者への追従(実験2)”を目的とした取り組みについては，審判員の役割を務めるロボットに競技者の位置情報を提供するために，競技者を上方のカメラにて撮像した画像から，競技者の位置，2名の競技者間距離および各競技者の動作量を計測するシステムをテンプレートマッチングとフレーム間差分法を適用した手法にて提案し，実験による検証を行った．さらに各競技者の動作量を解析することで初動の検出も可能であることが明らかになった．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和1年度は，近郊企業と共同研究を実施している戦略的基盤技術高度化支援事業(中小企業経営支援等対策費補助金)の案件が最終年度となり，共同開発を進めている装置開発業務に従事する時間が増加し，本事業を予定通り進捗させることが困難であると判断したため，補助事業期間の1年延長を申請し承認を得た．
【実験1 打突の有効性判定】：「充実した気勢」を明らかにすることについては，充実した気勢をスペクトルエントロピーの変化で検出するために，打突のための発声位置付近で，正しく切り出す必要があることが明らかになった．また，振動センサとセンサネットワークを用いたシステムのプロトタイプを構築することができたことから，予定通りの進捗である．「竹刀の打突部で打突部位を刃筋正しく打突」を明らかにすることについては，競技者が打突動作を行う際の竹刀の打突部位への接触有無検出，および打突部位判定の基本手法は提案できたが，動作する竹刀の隠蔽抑制への対応は不十分であり今後改善が必要であることから，進捗はやや遅れている．
【実験2 競技者への追従】：競技者を最適な方向から撮像するための小型移動ロボットキットへの情報提供用システムとして，競技者を上方から撮像した画像から，競技場内の競技者の位置，2名の競技者間距離計測の実験を進めてきたが，今後，実環境下での検証が必要であるため，進捗はやや遅れている．
【実験3 競技者年齢，男女別傾向への追従】：令和1年度までの取り組みでは，昨年度同様男性(10代～40代)に限定した実験であり，女性の傾向解析に関する実験が今後必要となる．
|
| Strategy for Future Research Activity |
”打突の有効性判定(実験1)”を目的とした「充実した気勢」を明らかにすることについては，スペクトルエントロピーの変化で検出することは，精度向上のために複数の被験者を用いて引き続き検討中である．打突位置と時間を振動センサと無線ネットワークにて検出する方法については，現在4ch(相手の竹刀，面，胴，小手)にて成功しているが，12ch(竹刀，面，右胴，左胴，右小手，左小手の其々を自身と相手)において遅延なく検出可能であるかを検討する必要がある．また，精度向上を目的とした電波強度と加速度の積分値をハイブリッドした方法および振動や音をディープラーニング手法を応用して分類する方法についても検討を継続していく．
「竹刀の打突部で打突部位を刃筋正しく打突」状態を明らかにすることについては，平成29年度に打突部位への竹刀の接触有無検出，平成30年度および令和1年度に打突部位の判別・追跡に関する基本手法を提案し，高精度な手法として実利用化の検討が開始できる状態であるが，隠蔽された打突部位および動作する竹刀の追跡への対応が不十分であるため，その改善に向けた取り組みを行う．また，打突の「有効度」を定量化するための実験検証を継続していく．
” 競技者への追従(実験2)”を目的とした取り組みは，小型移動ロボットキットへ情報提供するためのシステムとして平成30年度に提案したカメラシステムを含めた実験を実環境下で進め，その有効性を評価していく．最終年度となり，競技者年齢，男女別傾向に追従させるための実験”競技者年齢，男女別傾向への追従(実験3)”を併せて進めて行く．
|
| Causes of Carryover |
近郊企業と共同研究を実施している戦略的基盤技術高度化支援事業(中小企業経営支援等対策費補助金)の案件が最終年度となり，共同開発を進めている装置開発業務に従事する時間が増加し，本事業を予定通り進捗させることができないことから，1年間の延長を申請し承認を得た．
今年度は，最終年度として当初の計画通り執行する予定である．
|
