2017 Fiscal Year Annual Research Report
Realization of Corneal Feedback AR
| Project/Area Number |
15H02738
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
清川 清 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (60358869)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
間下 以大 大阪大学, サイバーメディアセンター, 准教授 (00467606)
中澤 篤志 京都大学, 情報学研究科, 准教授 (20362593)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 拡張現実 / 角膜反射 / 視線推定 / ユーザインタフェース |
|---|
| Outline of Annual Research Achievements |
光学シースルーHMDを用いたARにおいて，角膜イメージングによりユーザ体験を自動的に最適化する，新しいARの構成法「角膜フィードバックAR」の実現に向けて，今年度は下記の進捗があった．
1)【自動校正】について，アイカメラが捉えた角膜像からのユーザ認証手法を開発した．角膜像には虹彩などの眼の情報に加えてHMDの映像や実世界の情景も写り込んでいるため，これらの反射成分を除去し，ユーザ認証する．具体的には，様々な視線方向に対応する角膜像を眼球座標系で統合し，反射成分を外れ値として除外することで眼球座標系での眼球の画素値を推定する．これを既知の虹彩画像DBと照合し，ユーザ認証を実現した．
2)【視線方向の物体認識】について，深層学習を用いて角膜像から撮影位置を推定する手法を開発した．さらに，深層学習を用いて可視光画像から動向検出する手法を開発し，これを用いて注視点推定を行った．具体的な応用例として，対面話者とのアイコンタクトの有無や頻度などを実時間で記録するシステムを開発し，介護の現場において可用性を確認した．分担者の中澤は本研究成果を発展させ，「優しい介護」を実現するためのCRESTプロジェクトをH29年度より実施している．
3)【適応的情報提示】について，視線や目のジェスチャを用いた適応的情報提示手法について引き続き検討した．具体的には，実時間三次元再構築と組み合わせ，視線を向けた範囲だけがスローモーションに見えるARシステムを開発した．素早い3次元の動作を再確認したいようなスポーツや舞踊などへの応用が考えられる．また，同様の技術を応用して，屋内意匠や組立作業などを支援するARシステムも開発した．
研究期間全体を通じて，概ね順調に研究を進めることができたと考える．
|
| Research Progress Status |
29年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
29年度が最終年度であるため、記入しない。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Book] VR/AR技術の開発動向と最新応用事例2018
Author(s)
清川 清,大林 勇人,嵯峨 智,村上 郁也,荒井 観,繁桝 博昭,石塚 裕己,佐藤 雅之,池井 寧,青山 敦,前田 有希,鳴海 拓志,小泉 直也,河合 隆史,苗村 健,宮岡 徹,的場 修,黄 健,大城 理,神田 健介,掛谷 英紀,権藤 雅彦,堀越 力,田辺 健,橋本 直己,藤田 欣也,下馬場 朋禄,中村 則雄,藤波 香織,栗田 雄一,天野 敏之,橋本 悠希,眞鍋 佳嗣
Total Pages
11
Publisher
技術情報協会
ISBN
9784861046940
-
-
