2020 Fiscal Year Research-status Report
ワクワクを創出するポーズ入力型プログラミング教材の開発
| Project/Area Number |
20K14109
|
|---|
| Research Institution | Fukui National College of Technology |
|---|
Principal Investigator |
小松 貴大 福井工業高等専門学校, 電子情報工学科, 助教 (60638766)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 姿勢推定 / 機械学習モデル / MobileNetV3 Small |
|---|
| Outline of Annual Research Achievements |
携帯電話等でスタンドアローンで実装するためには可能な限り軽量な機械学習モデルが必要になる。そこで、モバイル向けに開発されたMobileNetV3 Smallを用いて姿勢推定のための機械学習モデルを構築した。MobileNetV3 Smallは軽量なモデルであるが、画像に映るものが何かを分類するモデルであるため姿勢推定のための各関節角などの座標位置を推定する回帰問題を学習できるかが不明である。そのために、機械学習モデルの出力層に用いる活性化関数をsigmoid関数、恒等関数、ReLU関数の３つとして学習を行った。姿勢位置推定のために判断させるキーポイントは、鼻、肩（左右）、肘（左右）、手首（左右）、臀部（左右）、膝（左右）、足首（左右）の１３箇所である。学習に使用するために用意した画像データとして、COCOデータセット(Common Object in Contextデータセット）の中から、教師データとして149813件、検証データとして6352件を用いた。なお、入力画像は縦横幅を120pixcelとし、キーポイントの座標は0~1の数値に規格化した。
教師データを用いて学習させる恒等関数以外の活性化関数では学習が進むにつれて損失は減少していき、100エポック終了後にはほぼ0に収束していた。しかしながら、検証データについてキーポイントとの誤差を調べたところ恒等関数が最も真値に近い値を出力していることがわかった。しかしながら、いずれの場合においても姿勢を推定し得るだけの精度が出ているとは言えない。今後の課題として、入力データセットを精査する作業が必要である。何故ならば、キーポイント座標が入力されている画像を調査した結果、その多くが特定の部位の座標がx座標、y座標共に0として扱われているため、全てのキーポイント座標が正確に入力されている画像のみを使用する必要がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
機械学習モデルの作成に使用するためのコンピュータ(GPUマシン）が2021年2月に納入されたために、現段階で当初の予定の半分に満たない進捗状況である。１つのモデルを作成するために３ヶ月から６ヶ月程度時間がかかっていたが、GPUマシンの納入により、１ヶ月で数個のモデルの学習が可能となるため遅れを取り戻すことは可能である。
|
| Strategy for Future Research Activity |
入力画像データの吟味を行い、学習する上で問題となるデータを省く作業を行なっている。その後、再度MobileNetV3 Smallの精度検証を行う。並行して、Octave Convolutionを用いた姿勢推定のためのオリジナルの機械学習モデルを構築した。画像を低周波特徴マップ、高周波特徴マップに分割して解析することで、画像の概略と細部を並行して解析するモデルであり、同時に１７箇所の部位の特徴を抽出できている。また、損失関数も順調に減少しており、誤差５ピクセル内におさめるためには通常のPCで半年以上かかる学習もGPUマシンの導入によって学習時間の短縮化が可能である。
今後、MobileNetV3とOctave Convolutionを用いた姿勢推定のためのオリジナルの機械学習モデルを比較し、モデルの軽量さ及び精度、応答速度の検証を進めていく必要がある。
|
