• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

下顎トラッキングによるポインティングデバイスの開発

研究課題

研究課題/領域番号 21K12781
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分90150:医療福祉工学関連
研究機関独立行政法人労働者健康安全機構総合せき損センター(研究部)

研究代表者

小林 博光  独立行政法人労働者健康安全機構総合せき損センター(研究部), 独立行政法人労働者健康安全機構総合せき損センター(研究部), 研究員(移行) (00647729)

研究分担者 寺師 良輝  独立行政法人労働者健康安全機構総合せき損センター(研究部), 独立行政法人労働者健康安全機構総合せき損センター(研究部), 研究員(移行) (90647728)
林 哲生  独立行政法人労働者健康安全機構総合せき損センター(研究部), 独立行政法人労働者健康安全機構総合せき損センター(研究部), 研究員(移行) (00769680)
研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2023年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
キーワードポインティングデバイス / 障害者 / 非接触 / トラッキング / 下顎 / MediaPipe
研究開始時の研究の概要

手足を機能的に動かせない重度の障害者が、どのような方法でパソコンやスマートフォン、タブレットなどの情報端末を操作しているのか現状を調査する。その中で負担の大きな動作や実現できない操作などの困難な状況を抽出する。それらの結果をもとに、顎の下に貼り付けたマーカーでパソコンや他の情報端末のマウスカーソルを移動させクリックを実現させるのに必要な機能や条件を仕様とした装置を試作・評価し、開発する。

研究実績の概要

課題:二次試作機はワンボードコンピュータ(ラズベリー財団RaspberryPi4)とwebカメラ(Logicool社C922n)と、USBコンバータ(ビッドトレードワン社REVIVE USB ADVANCE)をハードウエア構成に、ソフトウエア環境を、64bit版のRaspberry Pi OSにGoogleのMLソリューションMediaPipeを活用、Python3.9.2でのコード開発した。Mediapipeで得られた顔の上顎と下顎のX座標軸上の差を参照し、カーソルの左右方向移動を実現させた、上下方向移動については、口唇のX・Y軸座標上の距離の比(口の開閉率)の値を参照した。健常者による試用評価を行い、上下方向の移動はおおむね良好であったが、左右方向の移動について、意図したタイミングでの停止や方向反転ができない不具合があった。
調査:不具合の原因を調査するため、時刻、上顎と下顎のX座標軸上の差、口の開閉率、両目端のX座標上の距離をモニタ上に表示し、各データをメモリ内に記録するコードを開発した。取得した数値データをグラフ化し、別システムのデジタルカメラによる動画撮影と合わせて、解析を行った。その結果、顎の静止状態と移動状態が被験者に異なることに加え、カメラから顔までの距離によっても大きく異なることや、静止状態でもデータでは微細な揺れが生じていることや、顔、顎ともに位置や動きは左右非対称であることも確認した。
対策:左右方向の移動について、データ解析をもとに状況や個人の差を吸収する適切な閾値を求めることと、カメラ方顔までの距離は近すぎると静止時の微細な揺れの影響を少なくするための適切な距離を求める実験を行った。その結果、外部スイッチ操作により取得した中立位置X座標を基準とし、X座標の変位率による閾値の設定で、方向反転ができない不具合の解消を図った。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

データ解析手法の考案に時間を要し、限られた健常者のみでの試用となったため、2024年度まで延長することとした。

今後の研究の推進方策

カーソルの左右方向への移動の判別を上顎と下顎のX軸座標の数値の比をもとに、あらたな判別式を検討し、カメラから顔までの距離の影響と、カメラに対する顔の傾きの影響を回避する手法を考案する。また、使用該当障害者にも試用評価していただく。

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (5件)

すべて 2023 2022

すべて 学会発表 (5件)

  • [学会発表] 下顎トラッキングによるポインティングデバイスの開発 ~MediaPipeを利用した二次試作~2023

    • 著者名/発表者名
      小林博光 寺師良輝 林哲生
    • 学会等名
      LIFE2023 第38回ライフサポート学会大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 機械学習ソリューションMediaPipeを利用した下顎トラッキングによるポインティングデバイスの開発2023

    • 著者名/発表者名
      小林博光 寺師良輝 林哲生
    • 学会等名
      第37回リハ工学カンファレンス
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] MediaPipeを利用した下顎トラッキングによる ポインティングデバイスの開発2023

    • 著者名/発表者名
      小林博光 寺師良輝 林哲生
    • 学会等名
      第199回ヒューマンインタフェース学会研究会 「高齢者、障がい者支援技術および一般」
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 下顎トラッキングによるポインティングデバイスの試作と評価2022

    • 著者名/発表者名
      小林博光 寺師良輝 林哲生
    • 学会等名
      第36回リハ工学カンファレンス
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 下顎トラッキングによるポインティングデバイスの開発と評価2022

    • 著者名/発表者名
      小林博光 寺師良輝 林哲生
    • 学会等名
      第188回ヒューマンインタフェース学会研究会 「高齢者、障がい者支援技術および一般」
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi