2017 Fiscal Year Research-status Report
| Project/Area Number |
17K01594
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
疋田 真一 大阪電気通信大学, 工学部, 講師 (00347618)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 眼球運動 / カメラ / ハンズフリー |
|---|
| Outline of Annual Research Achievements |
本研究では，手足が不自由な運動弱者の生活の質を改善するため，眼球を側面から撮影した画像を用いて視線ジェスチャを識別することにより，キャリブレーションフリーで情報機器のハンズフリー操作を可能にするウェアラブルインタフェースを開発する．平成29年度は，眼球撮影用カメラ（アイカメラ）を装着した視線追跡メガネの試作と画像処理アルゴリズム（眼球領域の自動決定法と眼球特徴点の抽出方法）の開発，及び眼と頭の動きを利用した視線ジェスチャの検討に取り組んだ．
最初に，ユーザ所有のメガネ（または市販のメガネ）を利用できるように，メガネフレームのテンプル部分にアイカメラを装着するためのジョイントを開発した．このジョイントは，強度と軽量化を両立させるためにハニカム構造をもち，最大で幅7 [mm]のメガネフレームにアイカメラを接続し，カメラ位置を上下方向に最大15 [mm]，テンプル方向に最大25 [mm]の範囲内で調節できるようになっている．
次に，画像処理アルゴリズムについて，視線追跡メガネで撮影した眼球側面画像には眼球と無関係な背景などの領域が含まれる．そこで，閉眼画像と開眼画像の輝度値の変化を利用した眼球領域決定法を開発し，まばたきするだけで眼球領域を取得できることを確認した．次に，眼球領域内から視線の動きに連動する特徴点を検出する方法を開発し，自然照明下において 30フレーム／秒で特徴点を検出できることを確認した．
特定の眼球運動パターンと情報機器の操作コマンドを対応づける従来の視線ジェスチャ方式には，ジェスチャの種類が少ないという課題がある．そこで，眼の動きと頭部の回転動作を利用した首振り視線ジェスチャについて検討し，眼球側面画像から2種類の眼球運動（サッカードと前庭動眼反射）を検出することによりリアルタイムでPCの視線入力操作が可能であることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
アイカメラを市販のメガネフレームのテンプル部分に接続するためのジョイントを設計・開発し，視線追跡メガネを試作した．次に，自然照明下において，アイカメラ画像から眼球領域を決定し，眼球特徴点を検出する画像処理アルゴリズムを開発した．さらに，試作した視線追跡メガネを用いて首振り視線ジェスチャを検出し，リアルタイムでPCの視線入力操作が可能であることを確認した．
|
| Strategy for Future Research Activity |
これまでに，眼球側面画像撮影用のカメラ（アイカメラ）とメガネフレームからなる視線追跡メガネを試作し，画像処理アルゴリズム（眼球領域の決定法と眼球特徴点の抽出方法）を開発した．平成30年度は，ユーザの目の形状にあわせて画像処理パラメータを自動決定する方法の開発に取り組む．さらに，視線入力実験を行い，快適なハンズフリー操作を実現する視線ジェスチャについて検討する．
|
| Causes of Carryover |
眼球側面画像を撮影するための視線追跡メガネを試作するにあたり，アイカメラとメガネフレームを接続するジョイントを3D CADを用いて独自に設計し，金属光造形加工機とワイヤ放電加工機（現有設備）を用いて製作したこと，実験システムの構築においてできる限り従来部品を再利用して物品費の支出削減に努めたことから次年度への繰越金を得ることができた．
使用計画について，従来システムの改良およびアプリケーション開発にかかる費用に加えて，より使いやすい視線インタフェースの検討を行うため，ウェアラブルディスプレイとアイカメラからなるメガネ型視線入力システムの開発予算を平成29年度分の繰越金を利用して新たに計上する予定である．
|
