2018 Fiscal Year Research-status Report
Gaze region estimation algorithm without calibration available in a tablet
| Project/Area Number |
17K04966
|
|---|
| Research Institution | National Institute of Technology, Kumamoto College |
|---|
Principal Investigator |
博多 哲也 熊本高等専門学校, 制御情報システム工学科, 教授 (60237899)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
柴里 弘毅 熊本高等専門学校, 制御情報システム工学科, 教授 (60259968)
加藤 達也 熊本高等専門学校, 制御情報システム工学科, 助教 (10707970)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 重度重複障害 / 特別支援教育 / 社会福祉関係 / 人間福祉工学 / アシスティブテクノロジー |
|---|
| Outline of Annual Research Achievements |
特別支援学校では，障害のある児童生徒の自立や社会参加に向けた主体的な取り組みを支援しており，一人一人の持てる力に配慮した教育が行われている．特に，知的障害，肢体不自由などの重複障害がある児童生徒の課程では，自立した生活に繋げるために社会との関わりを充実させることが望まれている．しかし，意思伝達の手段として目の動きを用いている児童生徒の場合は自発的な意思表示が難しく，能動的な活動を支援する仕組みが十分には構築されていない．同様の症状の児童・生徒は全国におり，視線を利用した意思伝達支援機器において，特殊センサ等を必要としないAAC (Augmentative and Alternative Communication)技術の確立が望まれている．本研究では，スマートフォンやタブレットで動作させることを目的とした単眼カメラを用いた視線方向の推定手法を提案する．まず，FaceTrackerにより，撮影された顔画像の中から複数の顔特徴点を用いて，顔姿勢を推定する．推定アルゴリズムとして，①円柱モデルによる方法と，②顔特徴点パラメータを使用する方法の2通りを考案した．円柱モデルによる方法では，頭部を円柱とみなし，特徴点が円柱の表面に分布していると仮定している．一方，パラメータを使用する方法では，2つのパラメータs,tを用いる．Yaw角の推定では，正面から見て「左こめかみと鼻根間の距離」と「鼻根と右こめかみ間の距離」の比sを使用する．また，Pitch角の推定では，「鼻根と鼻尖間の距離」と「鼻尖と顎先間の距離」の比tを使用する．①，②のアルゴリズムについて実験結果を比較したところ，②パラメータs,tを使用する手法では，①円柱モデルと比べ最大の相対誤差を50%程度に低減することが示された．さらに改良を進め，新たにキャリブレーションを行わずに画面9領域の注視領域が推定可能なAIモデルを構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は前年度の視線推定エンジンを見直しCNN（Convolutional Neural Network）によりキャリブレーションを必要としない視線領域推定システムを構築した. CNNは入力データから直接推論を行うためキャリブレーションを行わなくとも視線推定が可能であるという利点がある．ベッドに横になっている状態の対象者に対し，教諭や保護者がタブレット端末の画面を見せる，もしくは対象者がアーム等で固定されたタブレット端末の画面を見て意思表示をするといった利用場面を想定している.
実験の結果から，画面4分割においての視線領域推定は約82％という精度が得られた．これは静止画像1枚に対する精度の平均値であることから，意思表示システムとして運用する際は閾値を設け数秒間の注視により選択したとみなす手法を取り入れたり，移動平均などの処理を加えたりすることで誤認識を低減できると考えている．また，モデルの学習を行うだけでなく学習済みモデルを用いて，カメラ映像からの視線領域推定システムを構築した．頭部姿勢を固定し視線だけを動かした場合と，視線を固定し頭部姿勢だけを動かした場合ともに正しく認識されたことから，目情報とfacial appearance が共に視線領域推定に適切に反映されていることが確認できた．これにより，特殊なハードウェアを用いることなく，幅広い意思表示支援が可能になった．
|
| Strategy for Future Research Activity |
新たに構築したAI（CNN）ベースの注視領域システムの精度検証を行い，構築したモデルをタブレットPCに移植する．これにより，特別支援学校での評価・運用を可能にする．特別支援学校に通う児童・生徒に使用してもらい，教諭らの意見をフィードバックし実用性を向上させる．
|
