2016 Fiscal Year Annual Research Report
| Project/Area Number |
15H02738
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
清川 清 大阪大学, サイバーメディアセンター, 准教授 (60358869)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
間下 以大 大阪大学, サイバーメディアセンター, 講師 (00467606)
中澤 篤志 京都大学, 情報学研究科, 准教授 (20362593)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 拡張現実 / 角膜反射 / 視線推定 / ユーザインタフェース |
|---|
| Outline of Annual Research Achievements |
光学シースルーHMDを用いたARにおいて，角膜イメージングによりユーザ体験を自動的に最適化する，新しいARの構成法「角膜フィードバックAR」の実現に向けて，今年度は下記の進捗があった．
1）【自動校正】について，アイカメラがHMDと分離着脱可能な場合の，アイカメラ・HMD・眼球の3者の位置関係の自動校正法を検討した．アイカメラとHMDにそれぞれ複数の赤外LEDを配置し，それらの角膜反射像から3者の位置関係を求める．本手法は角膜フィードバックARの実用化に向けた重要な成果と言える．また，角膜反射像から眼球の焦点位置を推定する手法についても検討した． 第3プルキニエ像の画像上の位置と実際の焦点距離の対応から回帰モデルを学習する．焦点距離を推定できれば被写界深度を再現したより写実的なARシーンをレンダリング可能であり，重要な成果と言える．また，角膜反射像からディスプレイ輝度を自動調整する基礎検討を開始した．
2)【視線方向の物体認識】について，今年度は角膜反射像と外界を直接撮影するシーンカメラの対応付をより頑健に行う手法を検討した．従来3.37度程度の対応付け精度を1.05度程度に改善した．また，角膜反射像から虹彩パターンを分離する手法について基礎検討を開始した．
3）【適応的情報提示】について，視線や眼のジェスチャを用いた適応的情報提示手法について引き続き検討した．また，視線の振舞いを自動解析する研究から派生して，HMDに提示した画像指標を追跡する眼球運動を解析することで，パーキンソン病の可能性を自動的に診断するシステムを構築した．本システムはVRに関する最難関の国際会議に採択され高い評価を得た．また，適応的情報提示の一環として，頭部運動からHMDに表示されるビデオ映像の視野角を自動的に調節する，視覚拡張システムを構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1）【自動校正】について，これまでは眼球位置の自動校正にのみ着目していたが，今年度は当初の予定から発展して，眼球の焦点距離や網膜が受光する光量などの校正についても検討した．その意味において，眼球位置の自動校正については大きな進展がなかったが，それ以外の方向で予想以上の成果が得られたと言える．
2)【視線方向の物体認識】について，視線方向の物体認識を行う直接的な研究に関しては大きな進展がなかったが，そのベースとなるより高精細なシーンカメラとの高精度の対応付けを実現した．位置合わせ手法としてRANRESAC(Random Resample Consensus)というノイズに頑健な手法を提案し，対応付け誤差を従来の3分の1以下に低減した．また，角膜像・注視行動データベースを作成した．360度の屋外環境画像と角膜像のデータセットを取得し，校正なしの対応付け精度で3から4度を達成した．また，角膜反射像のみを用いる物体認識については環境中の物体認識ではなく虹彩パターンの分離・認識という新しい方向性に踏み込み，有力な手ごたえを得た．虹彩パターンからユーザ認証できれば，個人に合わせた情報提示が可能になり有用性が高い．
3）【適応的情報提示】について，視線の振る舞いからの関心度の推定やそれを利用した情報粒度の段階的詳細化などについては進展がなかった．一方，視線の振舞いからパーキンソン病を自動診断するシステムを構築することができ，極めて意義の大きい成果が得られた．
これらのことから，当初予定から少しずつ異なる方向性に進んだ結果，当初想定していた方向性に関する研究成果は比較的進展が少なかったものの，それを上回るような興味深い，あるいは重要な研究成果を得ることができた．従って，全体として研究はおおむね順調に進展していると言える．
|
| Strategy for Future Research Activity |
平成29年度は本研究課題の最終年度であるため，これまでの研究成果を統合することに注力する．
1）【自動校正】について，眼球位置・焦点距離などの推定手法，さらには瞳孔経の実時間計測からのディスプレイ輝度の動的最適化などの手法を統合し，角膜反射像を用いてARシーンの品質を向上する様々なパラメータの自動調整フレームワークを完成させる．
2)【視線方向の物体認識】について，角膜像・注視行動データベースを活用して行動認識などの応用システムの開発を進める．また，虹彩パターンの分離・認識手法を進展させ，ユーザの同定に利用できることを確認する．
3）【適応的情報提示】について，前年度に進展のなかった，視線の振る舞いからの関心度の推定やそれを利用した情報粒度の段階的詳細化などについて改めて実施し，自動校正・物体認識・ユーザ同定などの他の研究成果と統合する．
|
