2015 Fiscal Year Annual Research Report
| Project/Area Number |
15H02738
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
清川 清 大阪大学, サイバーメディアセンター, 准教授 (60358869)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
間下 以大 大阪大学, サイバーメディアセンター, 講師 (00467606)
中澤 篤志 京都大学, 情報学研究科, 准教授 (20362593)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 拡張現実 / 角膜反射 / 視線推定 / ユーザインタフェース |
|---|
| Outline of Annual Research Achievements |
光学シースルーHMDを用いたARにおいて、角膜イメージングによりユーザ体験を自動的に最適化する、新しいARの構成法「角膜フィードバックAR」の実現に向けて、今年度は下記の進捗があった。
１）【自動校正】について、角膜反射像から眼球中心位置を得る手法を検討した。まず、OST-HMD越しに校正パターンを撮影し、アイカメラ座標系でのスクリーン形状を得た。次に、HMD映像の角膜反射像をアイカメラで撮影した。角膜球と眼球が虹彩輪郭で交差する眼球モデルを用い、単一フレームの特徴点対応から角膜球の中心を求め、複数フレームで得た角膜球中心から眼球中心を求めた。得られた画像を解析し、既存手法に比べて安定的に自動校正できることを示した。
２）【視線方向の物体認識】について、実環境とHMD映像が混在する角膜反射像から、インバースレンダリングにより視線推定することを検討した。虹彩パターンおよび実環境の映り込みを無視し、HMD映像のみが角膜に反射する状況で、視線推定を行った。その結果、視線推定は可能であるが安定性に問題があることが分かった。次に、角膜反射を用いて虹彩輪郭上の特徴点が存在する画像上の位置を絞り込み、安定的に虹彩輪郭を抽出して姿勢推定する方法を考案し実装した。その結果、誤差約1.7度で視線推定が行えた。
３）【適応的情報提示】
ビデオシースルーHMDと両眼視線追跡装置を用い、視線や眼のジェスチャ（瞬目や凝視など）を用いた適応的情報提示手法を検討し、視線追跡を用いた関心度推定モデルについて基礎的検討を行った。また、角膜イメージング法と赤外線LED、カメラを組み合わせたHUD(Head Up Display)を構築し、システムの試作及び評価を行った。本システムは、ディスプレイ・ハーフミラーおよびディスプレイ領域を認識するLED群からなり、映像の重畳提示をキャリブレーションフリーで実現できる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１）【自動校正】について、当初計画通り角膜反射像から眼球中心位置を得る手法を検討し、概ね順調に進展した。校正パターンの撮影、アイカメラ座標系でのスクリーン形状の獲得は問題なく実施した。対応付けの容易な特徴点群を検出可能な画像パターンとしてはチェッカーボードのみを使用した。自然画像を用いた場合は対応付けに失敗する場合も多かった。初期実装として、単一フレームの特徴点対応から角膜球の中心を求め、複数フレームで得た角膜球中心から眼球中心を求めたが、順調に実施できた。従来の自動校正手法よりも安定することが示せ、順調に成果を挙げることができたが、手動による手法よりは低精度であり、今後の改善が必要である。全体として、おおむね順調に進展している。
２）【視線方向の物体認識】について、当初計画通り実環境とHMD映像が混在する角膜反射像から、インバースレンダリングの考え方で画像合成により視線推定することを検討した。しかし、実環境とHMD映像が混在する場合はうまくいかず、HMD映像のみが存在する場合のみうまく視線検出できた。虹彩パターンを含めて3種の映像分離は今後の課題である。一方、当初計画になかった新たな視線推定手法を考案し、うまく動作した。角膜反射を用いて虹彩輪郭上の特徴点が存在する画像上の位置を絞り込み、安定的に虹彩輪郭を抽出して姿勢推定することで、誤差約1.7度で視線推定が行えた。全体として、おおむね順調に進展している。
３）【適応的情報提示】
関心領域・関心度推定のモデル構築は基礎的検討に留まった。一方で、ビデオシースルーHMDと両眼視線追跡装置を用い、視線や眼のジェスチャ（瞬目や凝視など）を用いた適応的情報提示手法については、新たな手法を考案し、ユーザから優れた評価を得た。また、権威ある国際会議で最優秀論文賞候補に残るなど、学界からも高い評価を得た。全体として、おおむね順調に進展している。
|
| Strategy for Future Research Activity |
１）【自動校正・視線方向の物体認識】
特徴点対応による視線推定法と画像合成による視線推定法を統合し、頑健な視線推定法を構築する。さらに高速化に取り組み、実際にモバイル環境でARを体験中に常に自動校正と視線推定を安定的に行う手法を検討する。そのために、角膜反射像からの虹彩パターンの抽出手法の開発に取り組む。さらに、推定した視線方向に存在する物体の認識法を検討する。具体的には、HoGなどの画像特徴データベース（DB）を用意して視線と交差する領域の特徴と照合するオーソドックスな2次元画像による物体認識法を実装し、次に3次元形状による物体認識法を検討する。3次元形状による認識ができれば、適応的情報提示において形状輪郭を考慮したビューマネジメントやオクルージョンを考慮した情報提示が可能となる。3次元形状による具体的な認識法では、Visual SLAMから得た物体の概形をもとに曲率や特徴点間の角度、ユークリッド距離、それらの比やヒストグラムなど、様々な不変量を検討し、頑健かつ高速に認識できる手法を開発する。
【適応的情報提示】
関心領域や関心度の推定法と重畳合成の品質評価法を統合し、適応的情報提示法を検討する。提示情報を階層的に管理し、関心領域の広さに応じて適切な階層レベルの情報を提示候補とする。例えば、車両を万遍なく眺める場合は車種が、ある部位を集中して眺める場合は部品名を候補とする。また、関心度が高いとより詳しい情報が得られるように段階的詳細化の考え方で情報を管理する。次に重畳合成の品質予測モデルを用いて、最も見やすいと予測される位置に実際に情報提示する。実際のARシーンの品質を角膜反射像から評価し、予測モデルを更新する。同時に、これまでの知見を踏まえてカメラ配置を検討し、角膜フィードバックに適したHMDを設計試作する。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Accurate Passive Eye-Pose Estimation through Corneal Imaging2015
Author(s)
Alexander Plopski, Christian Nitschke, Kiyoshi Kiyokawa, Dieter Schmalstieg and Haruo Takemura
Organizer
International Conference on Artificial Reality and Telexistence and Eurographics Workshop on Virtual Environments (ICAT-EGVE 2015)
Place of Presentation
京都
Year and Date
2015-10-28 – 2015-10-30
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
