2021 Fiscal Year Research-status Report
Improvement of flexion finger angles' estimation accuracy by instructional learning of finger contour line information
| Project/Area Number |
21K17867
|
|---|
| Research Institution | Matsue National College of Technology |
|---|
Principal Investigator |
藤嶋 教彰 松江工業高等専門学校, 電気情報工学科, 講師 (80757245)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 手形状推定 / 屈曲指推定 / 輪郭線 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
「手指の輪郭線情報を強調した手画像を教師画像として混ぜて学習させる方法がどの程度，屈曲指の関節角度推定に関する精度向上に貢献するか」を明らかにすべく，Muellerらの手形状推定モデルに対し，手指の輪郭線にコントラスト強調を加えた手画像を強調無し画像と共に学習させた。その結果，強調を加えた手画像を学習させなかったモデルに比べて学習させたモデルの方が屈曲指の位置を捉えやすく，手形状を誤らずに推定できるという可能性を示唆するデータが得られた。また本研究に関連の深い，最新推定技術による屈曲指推定精度の調査および輪郭線強調手画像の生成自動化を可能にする3DCG活用技術について，研究成果発表を行った。
主研究では，Muellerらが提供する手形状推定モデルの学習用手画像（教師データ付き）に対し，Adobe Photoshop2022を用いて手の外郭線を輝度が高い肌色にする処理をかけ，輪郭線強調画像を作製した。実験では，強調なし手画像36864枚を学習させた従来モデルと，強調なし手画像21484枚および強調あり手画像15380枚を学習させた提案モデルを作製した。そして，これらのモデルに若干の屈曲があり，背景が複雑な手画像を入力したとき，どの程度各指の位置を推定できるか調査した。その結果，提案モデルを使用したほうが全体的に推定精度が向上するというデータが得られた。ただし，推定が双方とも想定以下の精度になる問題に直面したため，深い曲げを含む手画像の場合は未調査である。
本研究を行うまでは，カラー画像において輪郭線情報の意図的教示手法が良い効果をもたらすかが不明であった。しかし本成果により，少なくとも効果がでるケースが存在することが明らかになった。手形状推定は指の位置推定が不安定になりやすいという大きな課題があり，その点について精度改善が見込める手段を発見したことは非常に大きな成果と考える。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウイルスの大流行により所属機関における公務活動が大幅に増加し，それに関連してエフォートを下げて実施せざるを得なかった。また関連して学生の研究活動時間に制限が設けられたことにより，研究を補助する学生が従事する時間が想定よりも大幅に減少した。
さらに，Muellerの手法を利用するために必要な環境の整備に時間がかかった他，学習に関して当初予期していなかった問題が生じ，その問題への対処に大きく時間を費やした。
|
| Strategy for Future Research Activity |
2021年度に実施できなかった研究計画について最優先に取り組み，それを達成した後に2022年度の計画内容である「輪郭線以外の情報削減による推定精度向上効果の調査」に移る。また，3DCGの手形状が本来の手形状と異なることによる影響を調べるため，2値画像ベースでの手形状パターン認識精度の違いについて研究を行っている。それについてもデータをまとめ次第，成果発表する。
|
| Causes of Carryover |
新型コロナウイルス感染拡大により，他者の手を撮影することができなかったことにより謝金が小さくなった。また，参加した学会が全てオンライン開催であったため，旅費が発生しなかった。さらに，研究の遂行遅れにより本来使用する予定であった深層学習用のレンタルサーバーを借りなかったため使用金額が大幅に少なくなった。
次年度においては感染拡大が収束し次第，行う予定であった撮影作業を行う。また，レンタルサーバーを借りる必要がでる状況になり次第，そのサーバについて契約し，深層学習を効率的に行えるようにする。
|
Research Products
(3 results)
