布品質特性から誘発される手指動き特徴量の抽出と高精度仮想立体裁断システムへの応用

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K02104
• Research Institution: Nagano National College of Technology
• Principal Investigator: 召田 優子 長野工業高等専門学校, 電子制御工学科, 講師 (20757893)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Keywords: 布モデル操作 / モーションキャプチャ

Outline of Annual Research Achievements

本布モデル操作システムに実装されている人工知能に関して，より自然な手指の動きを用いて操作ができるよう改良を行った．今までは特定のジェスチャ（指文字）で布モデル操作の切り替えを行っていたが，今回は自然な手の動きで操作を切り替えることができるよう，新たに布をつまむ動きや放す動きなどをジェスチャとし，それに伴い新たな特徴量（手の平の位置など）を追加，さらに時間的な要素も取り入れて学習を行った．結果，一部の操作では誤認識してしまうことがあるものの高い精度で判別することができた．このことから時間の流れも加味して学習が行われていることが確認できた．また，より自然な動作で布モデル操作が可能であることが示唆された．
布モデル操作の操作性向上のために，本システムのVR化を行った．以前は，現実の手指の動きをセンサで取得し仮想空間上の手モデルと同期させ，モニタ上に映し出される布モデルを操作していたが，これは奥行きが把握しづらかった．さらに，布モデルの操作は手指での操作であるに対して，視点移動はマウスで行っており，視点移動をするためには操作を一時中断しなければならなかった．このシステムをVR化することにより，奥行きが把握しやすくなり，現実世界と同様に人が移動することで視点移動も可能となった．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

今回はVR化と人工知能の改良を行ったが動作解析に関しては，グローブの環境構築とデータの変換（手指の曲がり度かた座標に変換する）までできているが，まだ実際の手指のデータが取得できていない．

Strategy for Future Research Activity

令和4年度は実際に布を扱う際の手指の動きを取得し，特徴量を抽出する．本システムでは特定のジェスチャではなくつまむなどの動きで操作を切り替えることができるようになったため，本システムでの操作の動きと実際の動きを比較し，検証をする．

Causes of Carryover

実際の手指の動きとシステムで操作する際の手指の動きを比較するためにVR化と人工知能の改良などを先に行った．そのため，現状使用しているデータグローブの課題の抽出がまだ不十分であり，このグローブの代わりとなる機器の選定が令和４年度に移った．