| Project/Area Number |
22K17937
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Chiba Institute of Technology |
|---|
Principal Investigator |
三木 大輔 千葉工業大学, 情報科学部, 助教 (70757343)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
|---|
| Keywords | ミリ波レーダ / 人物動作解析 / 深層学習 / マルチインスタンス学習 / ヒューマンインタフェース / ジェスチャ認識 / ニューラルネットワーク |
|---|
| Outline of Research at the Start |
本研究の目的は情報端末への非接触入力を，撮像機器を用いずに実現するための要素技術を確立することである．現在入手可能な主要な非接触入力機器はステレオカメラ等により手指の動作を検出するが，これらの検出部は撮像素子を含むため，プライバシー配慮の観点から用途が限られる．一方で，高い分解能をもつミリ波センサは，撮像素子を用いずに物体の動作を検出できることから，非接触入力デバイスとして適度な性質をもつが，取得される時系列データの扱い方には研究の余地がある．そこで本研究では，手指動作の識別・定量に必要な時系列データの解析のための新たな深層ニューラルネットワークおよびその学習手法を確立する．
|
| Outline of Annual Research Achievements |
本研究の目的は情報端末に対する非接触入力を実現する上で必要な複数種類の手指動作（タップ，スワイプ等）の検知と，それぞれの動作の大きさの程度を推定可能な検出モデルおよびその学習手法を確立することである．センサには79 GHz帯域のミリ波レーダを採用し，データの解析には深層ニューラルネットワーク (Deep Neural Network, DNN) を用い，その学習のために代表者らがこれまでに確立したマルチインスタンス学習 (Multiple instance learning, MIL) とランキング学習(Learning to Rank, LTR) を組み合わせた方法を応用する．これまでに，ミリ波レーダから取得される信号をrange doppler map (RDM) に変換し，提案手法により学習されたDNNにより手指動作認識が可能であることを確認した．特にFFTのハイパパラメータの設定にベイズ最適化等を用いることで識別精度の向上が可能であることを明らかにした．さらに，MILおよびLTRを応用した学習手法に関する検討を行い，アノテーションの付与されていないデータから手指の動作を決定づける特徴を抽出し，手指ジェスチャのローカライゼーションができるように学習が行われることを確認した．また，DNN に代えて時系列情報の扱いを得意とするスパイキングニューラルネットワーク (spiking neural network, SNN) を用いた手指動作認識手法の検討に取り組み，一定の成果が得られている．今後は，行動識別モデルの学習時のLTRに関する検討を進めることで，ジェスチャの大きさを推定可能とする．さらに，以上で確立した手法をミリ波レーダ信号の解析へ適用し，実機を用いた評価を行う．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ミリ波レーダにより取得されたRDMから手指ジェスチャを識別するDNNの学習手法を確立し，手指動作の識別が可能であることを確認している．さらに，弱教師ありデータを用いてジェスチャが行われた時間と大きさの程度のアノテーションを付与することなく，異なる大きさのジェスチャを識別するためのDNNモデルの学習手法を提案し，実験でその有効性を確認した．また，SNNおよびその学習手法に関する検討を行い，手指動作認識に適用できることを確認した．
|
| Strategy for Future Research Activity |
引き続き，DNNおよびその学習手法に関する検討を進め，特に行動識別モデルの学習時におけるLTRに基づく制約に関する検討を行うことで手指動作の定量可能とする．また，RDM生成時の信号処理手法について，識別精度を保ちながら高速化する方法について検討を進める．
|
