2016 Fiscal Year Research-status Report

全方位の安定化画像と過去画像履歴による視点・視線方向を変更可能な視覚共有の研究

Research Project

Project/Area Number	16K00264
Research Institution	Ibaraki University
Principal Investigator	城間直司茨城大学, 工学部, 准教授 (90312826)
Project Period (FY)	2016-04-01 – 2019-03-31
Keywords	視覚共有 / 画像安定化 / 全方位画像
Outline of Annual Research Achievements	本研究では、全方位での安定化画像を駆使して、視点位置・視線方向に拘束されず、更にそれらの空間的な選択で効率的でユーザビリティの向上が図れる視覚共有が行えることを明らかにする。平成28年度は、視覚共有のための全方位画像安定化技術の開発、全方位安定化画像を用いた仮想視線操作技術の開発、人の位置姿勢推定技術の開発を目指し研究を進めた。2台の広視野カメラを互いに後ろ向けに水平面内で外向けに配置し、全方位の画像情報を取得する全方位カメラシステムの開発を行った。画像の歪み補正は、球面マッピングにより行い、カメラシステムに搭載する姿勢センサによりカメラの運動を計測し、その情報を基にその運動を補償するように全方位の画像がマッピングされた画像を回転させ、注視領域を切り出すことで全方位画像安定化を実現した。開発した全方位画像安定化システムに対し、姿勢センサにより、視覚受信者の注視したい場所に応じて全方位画像内から切り出す領域を移動させることにより、仮想的に視線方向を変更させる全方位における仮想視線操作技術を開発した。人の位置計測において、環境に設置したレーザセンサにより、人の位置推定技術の開発を行った。人への行動指示において、環境に距離センサを設置し、計測した人の位置姿勢情報をもとに、遠隔地の人への移動指示を行うシステムの開発を行った。画像安定化において、画像内の特徴点の動きを画像処理により求め、その情報を利用することで画像安定化の精度の向上を目指し開発を進めた。環境中の任意の視点、視線方向からの画像の提示において、移動ロボットを利用し、環境中をロボットが移動することで、環境内のある地点での全方位画像情報を取得し、レーザセンサにより取得した大まかな点群地図としての環境情報を利用することで、環境内での任意の視点、視線方向からの画像を提示するシステムの開発を進めた。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 全方位画像安定化技術の開発、および、全方位安定化画像を用いた仮想視線操作技術の開発に関して、プロトタイプの全方位画像安定化システムとしての機能の実現においては、おおむね順調に進展していると思われる。カメラシステム自体を人体に搭載することを考慮するとシステムの小型化が必要である。仮想視線操作において、現在は姿勢センサのみを使用しての視線変更である。視覚受信者の頭部にヘッドマウントディスプレイと姿勢センサを搭載しての頭部の動きに応じてヘッドマウントディスプレイに提示する画像を更新する視線変更は今後開発を進めていく予定である。人の位置姿勢計測においては、環境設置の外部センサによる位置計測を行ったが、人に搭載したセンサのみでの位置姿勢推定技術の検討、および、外部センサと搭載センサ情報を融合した位置姿勢推定技術の検討を今後進めていく。また、人への移動指示、画像安定化精度の向上、大まかな環境地図を用いた任意の視点、視線方向の画像提示などは、当初の予定に加えて実施した内容となっている。
Strategy for Future Research Activity	次年度は、初年度に開発した全方位画像安定化システムの改良を行う。初年度の仮想視線操作技術は、姿勢センサ単体のみの実現であったが、これを頭部搭載ヘッドマウントディスプレイと姿勢センサを利用した仮想視線操作技術として開発する。初年度は環境に設置した外部センサにより実施した人の位置姿勢推定技術の開発を、人に搭載したセンサのみ、あるいは、人に搭載したセンサと外部センサの融合により開発を行う。そして、当初計画していた視点位置を変更する技術の開発、視点・視線方向の指示や提示を行うインタフェースの開発を行っていく予定である。
Causes of Carryover	当初の計画においては、初年度において、研究発表、および、調査研究のための学会参加費等の旅費を見込んでいたが、研究の進捗状況により、学会参加には至らず、学会参加費等の旅費を使用しなかったためである。
Expenditure Plan for Carryover Budget	次年度使用額は、次年度においての開発システムの改良が必要であるため、そのための物品費の一部、および、学会参加費等の旅費の一部として使用する予定である。また、翌年度分として請求した助成金は、当初の計画のとおりのシステムの開発のための物品費、および、学会参加費等の旅費として使用する予定である。