2022 Fiscal Year Research-status Report
Improvement of flexion finger angles' estimation accuracy by instructional learning of finger contour line information
| Project/Area Number |
21K17867
|
|---|
| Research Institution | Matsue National College of Technology |
|---|
Principal Investigator |
藤嶋 教彰 松江工業高等専門学校, 電気情報工学科, 講師 (80757245)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 手形状推定 / 輪郭線 / 深層学習 / 3DCG |
|---|
| Outline of Annual Research Achievements |
2022年度には2つほど新たな技術を創出する成果を出すことができた。1つは3DCGソフトを用いて自動で大量に手指輪郭線の画像を作製する技術であり、もう1つは肌質感を変化させる既存システムを利用する技術である。
3DCGソフトPOSERを用いる手法は2021年度までは3DCGカラーグローブモデルと、そのモデルを動かして撮影するPythonスクリプトがあるのみであった。そのため、望みの手形状がある場合は、その手形状になる関節角度を自分の手を用いて測定した後に、スクリプト内の関節角度リストに書き込む作業が必要であり、大量の手形状を作製するために膨大な時間がかかっていた。そこで、(1)手形状の関節角度情報をcsvデータに格納し、それを読み取るコードに変更、および(2)3DCGモデルの直接操作後に関節角度を取得、csvファイルに書き込みをするためのPythonスクリプト開発、を行った。それにより、1回のスクリプト実行のみで大量の手指輪郭線画像作製、関節角度とのリンク、および手形状別のフォルダ分けまでが一括で行えるようになった。
肌質感を変化させる既存システムについては、当初予定していたGeoConGANの実装がうまくいかなったため、より最新の研究を調査し、2021年に発表されたOpreaらのH-GAN（HandGAN）[1]に切り替えた。その結果12月頃に使用可能となった。現時点では申請者の手画像をRegNetが学習した手画像と近い質感の手画像に変換する所までができている。（Opera et al., H-GAN: the power of GANs in your Hands, https://arxiv.org/abs/2103.15017）
その他、関連する技術として深層学習を大型コンピュータで学習させるための技術や、学習環境を短時間で設定するための技術に関して向上した。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
最も大きいのが環境的な理由である。2022年度は昨年度にストップしていた様々な学校行事や顧問をしている部活動の大会などが再開し、かつ感染者数が極めて多くなるという状況によって、新型コロナウイルス感染防止対策のための事務処理が膨大に膨れ上がった。また、新規で受け持つ授業が入ったため、授業準備により多大な時間を費やすことになった。2021年度に引き続き学内では学生の研究活動時間に制限が設けられており、学生から支援してもらう時間が少なくなった影響も大きい。報告者の家庭環境に大きな変化があり、土日等の無授業日での研究遂行がうまく行えなかった。
技術的な点においては、当初予定していた先行研究提案の深層学習モデルの実装がうまくいかず、別の深層学習モデルの実装に変える作業がボトルネックとなっていたが、12月に実装できており、この問題は次年度以降で起きないと考えている。
|
| Strategy for Future Research Activity |
2023年度は前期までに手指輪郭線が強調された手画像を用いたときの影響を調査する。そして、残りの期間で平滑化フィルタによる情報削減効果について確認する。
本研究計画においては、PCKのデータ解析に時間がかかることから、手形状が限定的になる可能性がある。そこで、輪郭線の効果を測る関連研究であり、様々な手形状における効果が確認しやすい手形状パターン認識に関する研究を同時並行で進める。この研究の遂行に当たって本計画遂行に圧迫は生じるものの、主目的である手指輪郭線の効果については多く解明できると考える。
また、昨年度までの成果についてはまだ発表があまりできていない。2023年度は複数の成果を公開する。
|
| Causes of Carryover |
研究の遅れにより学会発表や必要物品の購入が遅れていることが原因である。物品に関しては年度前半に購入を予定している。成果が出次第積極的に発表し、その際に旅費を支出する。
|
Research Products
(1 results)
