| 研究課題/領域番号 |
21K12801
|
|---|
| 研究機関 | 東京電機大学 |
|---|
研究代表者 |
阿部 清彦 東京電機大学, システムデザイン工学部, 准教授 (40408646)
|
|---|
| 研究分担者 |
佐藤 寛修 関東学院大学, 理工学部, 助手 (90813741)
松野 省吾 群馬大学, 情報学部, 助教 (60836245)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 視線入力 / 畳み込みニューラルネットワーク / 3D-CNN / 視線 / 瞬目 |
|---|
| 研究実績の概要 |
ユーザの視線や瞬目（瞬き）の情報によりパソコンなどを操作する視線入力は、重度肢体不自由者など一般的な入力インタフェースの使用が困難な人たちでも利用が可能である。しかしながら、従来の視線入力インタフェースの多くは、使用前にユーザごとにキャリブレーション（較正）を行なう必要があり、使用に煩雑さがあった。本研究では、畳み込みニューラルネットワークを利用することにより、ノートパソコンのインカメラで撮影されたユーザの眼球近傍画像から視線と瞬目の情報をリアルタイムで捉え、パソコンを操作する新しい入力インタフェースを開発する。この視線入力インタフェースは、キャリブレーションを必要としないという大きな特長がある。
令和３年度の研究では、視線方向識別のための学習モデルを新規に作成し、研究代表者らの従来の手法では上下左右正面の５方向の視線を識別していたものを、左上右上を追加し７方向の識別を可能とした。これにより、パソコン画面上でのカーソル移動の操作性が向上し、カーソル移動だけでなく入力画面の切り替えなどを視線のみで簡単に行える入力インタフェースを構築することができる。
また、畳み込みニューラルネットワークを時間軸方向に拡張した3D-CNNを応用し、ユーザの瞬目を検出する新しい手法を開発した。新たに構築した3D-CNNを用い、意識的な瞬目と無意識に生じる瞬目を撮影した眼球近傍の動画像ファイルから学習モデルを構築したところ、意識的な瞬目の検出を高精度にキャリブレーションフリーで行なえることを実験により確認した。
令和３年度に開発したこれらの手法のうち、視線方向識別については一般的なパソコンでリアルタイム処理が可能であるものの、瞬目検出についてはまだオフライン処理を行っている。今後、瞬目検出のリアルタイム処理を実現し、視線方向識別手法と組み合わせて実用的な視線入力インタフェースを構築する。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
当初の計画では、キャリブレーションフリーの視線入力インタフェースに必要な基盤技術である視線と瞬目情報の識別のうち、視線方向識別の手法について主に研究を進め、瞬目の検出に関しては検討をするのみであった。しかしながら、識別できる視線方向を従来の５方向から７方向へ拡張しただけでなく、3D-CNNを利用することにより瞬目の検出および意識的な瞬目の識別も可能な新しい手法を開発できた。
|
| 今後の研究の推進方策 |
コロナ禍の影響により、視線方向や瞬目の識別に必要な学習データとして、多くの被験者の眼球近傍画像を撮影することが難しく十分なデータを確保できなかった。今後は状況を考慮しつつ多くの眼球近傍画像を取得し、より高精度な学習モデルを生成する。また、コロナ禍が改善しない場合でも眼球近傍画像が撮影できるように、遠隔実験用システムを開発したので、これも活用していきたい。
さらに、3D-CNNによる意識的な瞬目を識別する手法は、現在のところオフライン処理で動作を確認しているため、これを入力インタフェースに応用できるようにリアルタイム化する。
|
| 次年度使用額が生じた理由 |
コロナ禍の影響により、参加予定であった電気学会C部門大会がオンライン開催となったため、旅費を使用しなかった。今年度は現地開催のある学会大会に参加し、その旅費として使用する。また、同じくコロナ禍により被験者を集めての実験を実施できなかったため謝礼を使用しなかった。こちらも、次年度以降に実験を行なう際に利用する。
今後のコロナ禍の状況により旅費として使用できない場合は、実験データを保存するための固定ディスク装置（HDD、SSD）の購入費用に充てる。
|
