研究課題
光学シースルーHMDを用いたARにおいて，角膜イメージングによりユーザ体験を自動的に最適化する，新しいARの構成法「角膜フィードバックAR」の実現に向けて，今年度は下記の進捗があった．1)【自動校正】について，アイカメラが捉えた角膜像からのユーザ認証手法を開発した．角膜像には虹彩などの眼の情報に加えてHMDの映像や実世界の情景も写り込んでいるため，これらの反射成分を除去し，ユーザ認証する．具体的には，様々な視線方向に対応する角膜像を眼球座標系で統合し，反射成分を外れ値として除外することで眼球座標系での眼球の画素値を推定する．これを既知の虹彩画像DBと照合し，ユーザ認証を実現した．2)【視線方向の物体認識】について，深層学習を用いて角膜像から撮影位置を推定する手法を開発した．さらに，深層学習を用いて可視光画像から動向検出する手法を開発し，これを用いて注視点推定を行った．具体的な応用例として，対面話者とのアイコンタクトの有無や頻度などを実時間で記録するシステムを開発し，介護の現場において可用性を確認した．分担者の中澤は本研究成果を発展させ，「優しい介護」を実現するためのCRESTプロジェクトをH29年度より実施している．3)【適応的情報提示】について，視線や目のジェスチャを用いた適応的情報提示手法について引き続き検討した．具体的には，実時間三次元再構築と組み合わせ，視線を向けた範囲だけがスローモーションに見えるARシステムを開発した．素早い3次元の動作を再確認したいようなスポーツや舞踊などへの応用が考えられる．また，同様の技術を応用して，屋内意匠や組立作業などを支援するARシステムも開発した．研究期間全体を通じて，概ね順調に研究を進めることができたと考える．
29年度が最終年度であるため、記入しない。
すべて 2018 2017 その他
すべて 国際共同研究 (1件) 雑誌論文 (9件) (うち国際共著 1件、 査読あり 6件、 オープンアクセス 4件) 学会発表 (28件) (うち国際学会 7件、 招待講演 18件) 図書 (3件)
IUI Workshop on Symbiotic Interaction and Harmonius Collaboration for Wisdom Computing
巻: 1 ページ: pp.1-9
医学界新聞
巻: 3154号 ページ: pp.13
日本バーチャルリアリティ学会論文誌
巻: 22 ページ: 157～164
10.18974/tvrsj.22.2_157
巻: 22 ページ: 167～174
10.18974/tvrsj.22.2_167
Advanced Robotics
巻: 31 ページ: 413～427
10.1080/01691864.2016.1277552
2017 Fifteenth IAPR International Conference on Machine Vision Applications (MVA)
巻: 1 ページ: 201-204
10.23919/MVA.2017.7986842
総合診療
巻: 第27巻，５号 ページ: pp.621-623
British Machine Vision Conference (BMVC2017)
巻: 1 ページ: pp.1-12
arXiv preprint arXiv:1708.00908
