• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

手指動作の識別と定量を目的としたミリ波レーダ信号の解析

研究課題

研究課題/領域番号 22K17937
研究種目

若手研究

配分区分基金
審査区分 小区分61020:ヒューマンインタフェースおよびインタラクション関連
研究機関千葉工業大学

研究代表者

三木 大輔  千葉工業大学, 情報科学部, 助教 (70757343)

研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2023年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2022年度: 3,120千円 (直接経費: 2,400千円、間接経費: 720千円)
キーワードミリ波レーダ / 人物動作解析 / 深層学習 / マルチインスタンス学習 / ヒューマンインタフェース / ジェスチャ認識 / ニューラルネットワーク
研究開始時の研究の概要

本研究の目的は情報端末への非接触入力を,撮像機器を用いずに実現するための要素技術を確立することである.現在入手可能な主要な非接触入力機器はステレオカメラ等により手指の動作を検出するが,これらの検出部は撮像素子を含むため,プライバシー配慮の観点から用途が限られる.一方で,高い分解能をもつミリ波センサは,撮像素子を用いずに物体の動作を検出できることから,非接触入力デバイスとして適度な性質をもつが,取得される時系列データの扱い方には研究の余地がある.そこで本研究では,手指動作の識別・定量に必要な時系列データの解析のための新たな深層ニューラルネットワークおよびその学習手法を確立する.

研究実績の概要

本研究の目的は情報端末に対する非接触入力を実現する上で必要な複数種類の手指動作(タップ,スワイプ等)の検知と,それぞれの動作の大きさの程度を推定可能な検出モデルおよびその学習手法を確立することである.センサには79 GHz帯域のミリ波レーダを採用し,データの解析には深層ニューラルネットワーク (Deep Neural Network, DNN) を用い,その学習のために代表者らがこれまでに確立したマルチインスタンス学習 (Multiple instance learning, MIL) とランキング学習(Learning to Rank, LTR) を組み合わせた方法を応用する.これまでに,ミリ波レーダから取得される信号をrange doppler map (RDM) に変換し,提案手法により学習されたDNNにより手指動作認識が可能であることを確認した.特にFFTのハイパパラメータの設定にベイズ最適化等を用いることで識別精度の向上が可能であることを明らかにした.さらに,MILおよびLTRを応用した学習手法に関する検討を行い,アノテーションの付与されていないデータから手指の動作を決定づける特徴を抽出し,手指ジェスチャのローカライゼーションができるように学習が行われることを確認した.また,DNN に代えて時系列情報の扱いを得意とするスパイキングニューラルネットワーク (spiking neural network, SNN) を用いた手指動作認識手法の検討に取り組み,一定の成果が得られている.今後は,行動識別モデルの学習時のLTRに関する検討を進めることで,ジェスチャの大きさを推定可能とする.さらに,以上で確立した手法をミリ波レーダ信号の解析へ適用し,実機を用いた評価を行う.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ミリ波レーダにより取得されたRDMから手指ジェスチャを識別するDNNの学習手法を確立し,手指動作の識別が可能であることを確認している.さらに,弱教師ありデータを用いてジェスチャが行われた時間と大きさの程度のアノテーションを付与することなく,異なる大きさのジェスチャを識別するためのDNNモデルの学習手法を提案し,実験でその有効性を確認した.また,SNNおよびその学習手法に関する検討を行い,手指動作認識に適用できることを確認した.

今後の研究の推進方策

引き続き,DNNおよびその学習手法に関する検討を進め,特に行動識別モデルの学習時におけるLTRに基づく制約に関する検討を行うことで手指動作の定量可能とする.また,RDM生成時の信号処理手法について,識別精度を保ちながら高速化する方法について検討を進める.

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (4件)

すべて 2024 2023 2022

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (3件) (うち国際学会 1件)

  • [雑誌論文] Spike representation of depth image sequences and its application to hand gesture recognition with spiking neural network2023

    • 著者名/発表者名
      Miki Daisuke、Kamitsuma Kento、Matsunaga Taiga
    • 雑誌名

      Signal, Image and Video Processing

      巻: 17 号: 7 ページ: 3505-3513

    • DOI

      10.1007/s11760-023-02574-3

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [学会発表] FMCW Radar-based Hand Motion Recognition using Weakly Supervised Deep Neural Network2024

    • 著者名/発表者名
      Daisuke Miki, Yue Furuzuki, Shohei Matsumoto, Shunta Kimura
    • 学会等名
      12th IIAE International Conference on Industrial Application Engineering 2024
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] ランキング学習を用いた手指ジェスチャ識別手法に関する研究2024

    • 著者名/発表者名
      松本 笙平, 古月 夢媛, 木村 駿太, 三木 大輔
    • 学会等名
      電子情報通信学会東京支部学生会研究発表会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 深度画像シーケンスのスパイク表現およびスパイキングニューラルネットワークによる解析2022

    • 著者名/発表者名
      上妻賢和, 三木大輔
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi