2022 Fiscal Year Research-status Report
Development of pointing device by lower jaw tracking.
| Project/Area Number |
21K12781
|
|---|
| Research Institution | Japan Organization of Occupational Health and Safety, Spinal Injuries Center |
|---|
Principal Investigator |
小林 博光 独立行政法人労働者健康安全機構総合せき損センター(研究部), 独立行政法人労働者健康安全機構総合せき損センター(研究部), 研究員(移行) (00647729)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺師 良輝 独立行政法人労働者健康安全機構総合せき損センター(研究部), 独立行政法人労働者健康安全機構総合せき損センター(研究部), 研究員(移行) (90647728)
林 哲生 独立行政法人労働者健康安全機構総合せき損センター(研究部), 独立行政法人労働者健康安全機構総合せき損センター(研究部), 研究員(移行) (00769680)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ポインティングデバイス / 障害者 / 非接触 / トラッキング / 下顎 / MediaPipe |
|---|
| Outline of Annual Research Achievements |
問題点の抽出：昨年度の一次試作機は、ワンボードコンピュータとwebカメラをそれぞれ2台ずつとUSB入力変換器で構成され、下顎に貼り付けた赤いマーカと瞼の開閉度により、PCのカーソル操作とクリックを実現させるものであった。
操作環境における照明の照度と色温度等の環境的因子や、操作者個人の皮膚や唇の色と下顎に貼り付ける赤色シールとの色の差等による人的因子の影響で、操作性や精度に問題が生じていた。色を抽出して座標を算出するソフトウエアの手法であったため、このような影響を受けやすい。
二次試作機：これらの問題を回避するために、ワンボードコンピュータとwebカメラと、USBコンバータをそれぞれ1台ずつ使用し、ハードウエアを再構成した。ソフトウエア環境は、Raspberry Pi OSにMediaPipeを活用し、Pythonにてコードを開発した。MediaPipeとはGoogleの機械学習ソリューションの一つで、webカメラで撮影された人の顔の目や口、顎等の顔の構成部分を自動認識し、特徴点の座標を取得できる機能を備える。
この中から、下顎の左右方向の動作を検出するために5点を選択し、移動変位値を増幅させている。上下方向の移動検出は口の開閉率を利用し、唇周り4点から算出している。目の開閉率も同様に算出し、これらを判別式によりカーソル操作とクリックを実現させる。
これにより、下顎の赤いマーカ貼付や手動での原点補正が不要かつ、照明や操作者の皮膚の色等に影響されにくい二次試作機を開発した。
評価：健常者による評価を行った。カーソルの上下方向およびクリック操作については良好な操作感覚が得られた。左右方向の移動については、静止、反転の不確実性の課題が残る。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
MediaPipeを利用することにより、照明の照度や色温度、操作者の皮膚や唇の色に影響されず、下顎部分にマーカ貼付と手動での原点補正が不要となり操作性が向上した。また、ハードウエア構成が簡素化され、PCデスク上の専有面積を削減できたことにより利便性が向上した。
|
| Strategy for Future Research Activity |
カーソルの左右方向の移動と停止を安定化させるために、移動と停止の判別式やそれに利用する顔面のランドマークの選択を再検討する。今回も移動方向を8方向に限定しているが、さらに4方向に限定することによる操作性の変化も検討する。また、操作者ごとに異なるしきい値の調整機能を必要性についても調査検討し、ハードウエアの一体化を含めた最終仕様の実用機を作成する。
|
| Causes of Carryover |
2022年の8月に第37回ライフサポート学会大会（LIFE2022）が札幌で対面形式で開催予定であったが、コロナ禍の影響でオンライン開催に変更され、出張にかかる費用に変更があったため。2023年度の学会発表にかかる経費等に利用する予定である。
|
