視線と瞬目を用いたキャリブレーションフリー入力インタフェース
| Project/Area Number |
21K12801
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90150:Medical assistive technology-related
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
阿部 清彦 東京電機大学, システムデザイン工学部, 教授 (40408646)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐藤 寛修 関東学院大学, 理工学部, 助手 (90813741)
松野 省吾 群馬大学, 情報学部, 助教 (60836245)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 視線入力 / 畳込みニューラルネットワーク / Vision Transformer / ３次元畳込みニューラルネットワーク / 視線 / 瞬目 / 入力インタフェース / 畳み込みニューラルネットワーク / 3D-CNN / 瞬目入力 / 再帰型ニューラルネットワーク |
|---|
| Outline of Research at the Start |
視線入力は眼球やまぶた以外の運動を必要としないので、運動機能を著しく制限されている人たちも使用が可能であり、これを利用したコミュニケーション支援システムが多く提案されている。本研究では、ディープラーニングを活用しノートパソコン１台から構成される視線入力システムを開発する。このシステムは従来のシステムとは異なり、システム使用前にキャリブレーション（較正、調整）の必要がなく、専門的な知識や技術がないユーザでも利用できるように工夫されている。
|
| Outline of Annual Research Achievements |
ユーザの視線や瞬目（瞬き）の情報によりパソコンなどを操作する視線入力は、重度肢体不自由者など一般的な入力インタフェースの使用が困難な人たちのコミュニケーション支援に使われる。従来の視線入力インタフェースの多くは、使用前にユーザごとにキャリブレーション（較正）を行なう必要があり、使用に煩雑さがあった。本研究では、畳み込みニューラルネットワーク（CNN）やVision Transformer（ViT）と言ったディープランニングによる画像識別技術を利用することにより、ノートパソコンのインカメラで撮影されたユーザの眼球近傍画像から視線と瞬目の情報をリアルタイムで捉え、パソコンを操作する新しい入力インタフェースを開発してきた。この視線入力インタフェースは、キャリブレーションを必要としないという大きな特長がある。
2023年度の研究では、今までに開発してきたCNNによる手法とともにViTによる新たな視線識別法を開発し、その識別精度の向上を実現した。また、CNNを時間軸方向に拡張した３次元畳込みニューラルネットワーク（3D CNN）を用いて意識的な瞬目を識別し、視線入力インタフェースの入力に応用する研究を行ってきたが、この際に計測結果の最頻値を用いることにより識別精度を向上させる手法を開発した。
これらの技術は先進的なものではあるが、その分、使用するコンピュータの計算コストが大きくなることが判明し、研究代表者らは学習データを増加することでCNNによる視線識別モデルを実用的なレベルまで改良し、また瞬目の持続時間を用いて意識的な瞬目を識別することにより、計算コストの大幅な削減を実現した。これらを組み合わせ、ノートパソコン一台のみで日本語入力とWeb検索を行うことのできる、キャリブレーションフリーな視線入力インタフェースを完成させることができた。
|
Report
(3 results)
Research Products
(16 results)
