| Project/Area Number |
21K17868
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
常 穹 東京工業大学, 情報理工学院, 助教 (50845279)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | GPU高速化 / Z2ZNCC / Fast Sobel / sRRNet / ハイブリッドネットワーク / モバイルGPU / ZNCC / GPU / 実時間処理 / Openpose / GPGPU / 高速化 / 支援システム |
|---|
| Outline of Research at the Start |
近年、多くの小中学校の体育でダンスが必須化されている。学校を通う他に、練習者たちが一人で練習するケースも多い。練習中に動作ミスの発見が難しいため、一部の研究者がミス検出ためのダンス支援システムの研究開発を取り組んでいる。多くのダンス曲のリズムが速く、動作の変化も頻繁であり、支援システムに対し十分高速な認識能力が求められている。しかし、既存手法の処理時間がかなり長い、実用性がかなり低い。本研究の目的は、GPU（Graphics Processing Unit）を用いた高精度かつ高速なダンス支援システムを開発、評価することである。
|
| Outline of Annual Research Achievements |
近年、多くの小中学校で体育の授業においてダンスを必須化している。それに伴い、学校での授業以外にも、多くの練習者が自宅で一人で練習するケースが増えている。しかし、一人で練習する場合、動作のミスを自分で発見するのは難しいため、ダンス支援システムの研究開発が注目されている。ダンス支援システムに求められる機能の一つとして、高速で正確な動作認識がある。多くのダンス曲はリズムが速く、動作の変化も頻繁であるため、支援システムには迅速かつ正確な動作認識能力が求められている。しかし、既存の手法では処理時間が長く、実用性に欠けるという問題がある。
本研究の目的は、GPU（Graphics Processing Unit）を用いた高精度かつ高速なダンス支援システムを開発し、その性能を評価した。これまでに、以下のような技術を利用しモバイルGPUを利用した時系列データの類似度算出手法（ZNCC）、深層学習による動作キーフレームの補間手法、エッジ特徴量検出アルゴリズム（Sobel）、大規模ニューラルネットワークを最適化するための行パータンデータの並列マッチング、量子化およびハイブリッド処理など動作検出手法の高速化を実現した。これらの技術を駆使することで、動作認識処理の高速化を実現し、その評価も行った。さらに、これらの成果を複数の論文として発表し、国際会議でも発表した。これらの技術は、計算方式やデータアクセスおよび保存方法など、さまざまな観点から動作認識処理の問題を解決し、モバイルGPU上で2倍以上の速度向上を達成している。これらの方法は動作認識に利用するだけでなく、他のアプリケーションにも拡張可能である。したがって、本研究はダンス支援システムの実用化に向けた重要な一歩となるとともに、広範な応用可能性を持つ技術の開発に寄与している。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和5年度に、データ量子化を活用したCNNの高速化研究を行い、その成果を国際会議で発表した。また、これまで提案した手法をopenposeフレームワークに組み込み、Xavier AGX GPUを用いて720p画像の処理速度を12fpsに向上させた。ただし、実時間での処理には至っておらず、全体の性能評価は実験者によってまだ行われていない。
|
| Strategy for Future Research Activity |
ハイブリッド処理により大規模ニューラルネットワークの最適化に関する研究論文の追加実験を行う。
|
