| Project/Area Number |
21K17868
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
常 穹 東京工業大学, 情報理工学院, 助教 (50845279)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | ハイブリッドネットワーク / モバイルGPU / ZNCC / GPU / 実時間処理 / Openpose / GPGPU / 高速化 / 支援システム |
|---|
| Outline of Research at the Start |
近年、多くの小中学校の体育でダンスが必須化されている。学校を通う他に、練習者たちが一人で練習するケースも多い。練習中に動作ミスの発見が難しいため、一部の研究者がミス検出ためのダンス支援システムの研究開発を取り組んでいる。多くのダンス曲のリズムが速く、動作の変化も頻繁であり、支援システムに対し十分高速な認識能力が求められている。しかし、既存手法の処理時間がかなり長い、実用性がかなり低い。本研究の目的は、GPU（Graphics Processing Unit）を用いた高精度かつ高速なダンス支援システムを開発、評価することである。
|
| Outline of Annual Research Achievements |
まず、深層学習複雑な計算を避けるため、一つハイブリッドフレームワークを提案し、モバイルGPUで実現した。このハイブリッドフレームワークは伝統的（非機械学習）な方法を用いて縮小された入力画像から特徴を抽出する部分と、機械学習方法を用いて抽出された特徴を拡大する部分で構成されている。本手法の特徴としては、伝統的な処理方法を利用することでシステム全体の計算量を削減し、さらに機械学習の使用により精度の低下を補うことである。3D デプスマップ生成システムを例として提案手法を適用し評価を行った結果、提案手法が処理速度と精度の点で良好なバランスを取ることが可能であり、画素値に敏感でないopenposeにも適用できることを判明した。この研究結果を元に論文を作成し、国際会議にて発表することになった。
次に、高速的に特徴量を抽出するため、prefetchとGPU warp primitiveを組合せた高速化手法も検討した。エッジ特徴量検出アルゴリズムSobelを対象として、GPUでの高速処理手法を提案し、モバイルGPUでのリアルタイム処理を実現下。その研究結果を元に論文を執筆し論文誌に発表した。
さらに、モバイルGPUを用いてニューラルネットワークの推論を高速化する手法も提案した。重みとアクティベーションを量子化することで、計算速度や転送速度が向上し、バッチノーマライゼーション層でルックアップテーブルを使用することで、計算量を削減することができた。評価実験の結果、精度の低下を約２％にとどめ、推論速度を約1.78倍高速化することに成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和４年度の予定は、動作検出アルゴリズムOpenposeのGPUでの高速ウェイトプリング手法を検討し、実機上で評価を行うことと、浮動小数点数の代わりに、バイナリ型データにより大型ニューラルネットワークを圧縮する方法の検討であった。実機上に実装した結果、検討したウェイトプリング手法の有効性を判明した。そして、データ量子化やルックアップテーブル対策を入れることにより、隠れ層間データ転送の高速化も実現できた。さらに、multibit maskエンコーディングフォマットを活用することで、スパース行列畳み込み計算の高速化手法も検討した。
|
| Strategy for Future Research Activity |
令和５年度においては、提案手法（ハイブリッドネットワーク、multibit maskなど）を統合し、openposeフレームワーク全体を高速化する。その後、全般的に評価を行い、その結果を元に論文の執筆や論文誌への投稿を目指す。さらに、ダンス支援システムの開発を完成させ、複数人の実験者によりシステム全体機能に対し評価を行う。
|
Report
(2 results)
Research Products
(11 results)
