| 研究課題/領域番号 |
21K12801
|
|---|
| 研究機関 | 東京電機大学 |
|---|
研究代表者 |
阿部 清彦 東京電機大学, システムデザイン工学部, 教授 (40408646)
|
|---|
| 研究分担者 |
佐藤 寛修 関東学院大学, 理工学部, 助手 (90813741)
松野 省吾 群馬大学, 情報学部, 助教 (60836245)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 視線入力 / 畳込みニューラルネットワーク / ３次元畳込みニューラルネットワーク / 視線 / 瞬目 / 入力インタフェース |
|---|
| 研究実績の概要 |
ユーザの視線や瞬目（瞬き）の情報によりパソコンなどを操作する視線入力は、重度肢体不自由者など一般的な入力インタフェースの使用が困難な人たちのコミュニケーション支援に使われる。従来の視線入力インタフェースの多くは、使用前にユーザごとにキャリブレーション（較正）を行なう必要があり、使用に煩雑さがあった。本研究では、畳み込みニューラルネットワークを利用することにより、ノートパソコンのインカメラで撮影されたユーザの眼球近傍画像から視線と瞬目の情報をリアルタイムで捉え、パソコンを操作する新しい入力インタフェースを開発する。この視線入力インタフェースは、キャリブレーションを必要としないという大きな特長がある。
2022年度の研究では、今までに開発してきた畳み込みニューラルネットワーク（CNN）による視線方向識別手法に、時間軸方向の情報を加味した３次元み込みニューラルネットワーク（3D-CNN）を適用することにより頑健性の高い新たな手法を開発した。この方法により、長期間安定的に使用できる入力インタフェースを開発が可能となった。
また、本研究では視線入力インタフェースの入力決定にユーザの意識的な瞬目（随意性瞬目）の情報を利用するが、2021年度に開発した3D-CNNによる手法では著しく検出精度が低下するケースが見られた。2022年度は新たに、撮影した眼球の位置がずれた画像列を意図的に生成し、それを用いて識別器のモデルを学習させることで識別率低下を抑えることを可能とした。
また、これらの研究と並行して、従来のCNNによる視線方向識別法と随意性瞬目検出法を併用した、視線による日本語入力インタフェースの基盤部分を開発した。今後、この視線による日本語入力インタフェースに、新たに開発した3D-CNNによる視線識別法と随意性瞬目検出法を適用し、さらに使いやすい入力インタフェースを開発する予定である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
当初の計画では、新たな高精度に視線方向を識別する手法及び随意性瞬目の検出手法を開発することを目標としていたが、それに加え、従来手法のCNNを利用したものではあるが視線による日本語入力インタフェースの基盤部分を開発することができた。
|
| 今後の研究の推進方策 |
2022年度に開発した3D-CNNによる視線方向識別法及び随意性瞬目検出法を適用した、新しい視線による日本語入力インタフェースを構築する。これらの新しい手法を利用する際には、学習モデルを生成する必要がある。学習モデルの生成には、複数の被験者の顔画像（眼球近傍画像）を必要とする。そのため、まず2023度は学習モデル生成のためのこれらの画像撮影を行う。
その後、新たに開発した視線方向識別法及び随意性瞬目検出法を視線による日本語入力インタフェースに適用するが、そのためにはこれらの手法を同時にリアルタイム処理するアルゴリズムを開発する必要がある。新たに開発したこれらの手法のうち、視線方向識別についてはリアルタイム処理を実現しているが、随意性瞬目検出法については未だオフライン処理のみを実現している。これは後者の手法の計算コストが高く、リアルタイム処理が難しいためである。そのため、処理の一部を簡略化するなどでリアルタイム処理の実現を目指す。
新たに開発した視線方向識別法と随意性瞬目検出法を、同時にリアルタイム処理するアルゴリズムの開発が難航することも予想される。その場合は、2022年度に開発済みの従来手法による日本語入力インタフェースについて、その使い勝手や精度を向上させるためのチューニングを行い、実用的な視線による日本語入力インタフェースを完成させる予定である。
|
| 次年度使用額が生じた理由 |
コロナ禍の影響により、参加予定であった電気学会C部門大会にオンライン参加をしたため、旅費を使用しなかった。また、国際会議参加のための旅費を予算に組み入れていたが、日本国内開催の国際会議に参加したため、その分の旅費を使用しなかった。これらの原因で次年度使用となった予算は、学会参加の旅費のほか、研究成果発表のための英文校正料や論文投稿料に使用する。また、コロナ禍の影響が小さくなってきたので、2023年度は複数の被験者の協力のもと、学習モデルの生成のための画像撮影や開発した視線入力インタフェースの評価実験等を行う。その際の被験者謝礼としても使用する。
|
