2017 Fiscal Year Research-status Report
全方位の安定化画像と過去画像履歴による視点・視線方向を変更可能な視覚共有の研究
| Project/Area Number |
16K00264
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
城間 直司 茨城大学, 工学部, 准教授 (90312826)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 視覚共有 / 画像安定化 / 全方位画像 / 自己位置姿勢推定 |
|---|
| Outline of Annual Research Achievements |
本研究では、全方位での安定化画像を駆使して、視点位置・視線方向に拘束されず、更にそれらの空間的な選択で効率的でユーザビリティの向上が図れる視覚共有が行えることを明らかにする。
平成29年度は、視点位置を変更する技術の開発、視点・視線方向の指示や提示を行うインタフェースの開発及び昨年度から継続で視覚共有のための全方位画像安定化技術の開発、全方位安定化画像を用いた仮想視線操作技術の開発、人の位置姿勢推定技術の開発を目指し研究を進めた。移動ロボットを利用して、環境中をロボットが移動することで、環境内のある地点での全方位画像情報を取得し、2台のレーザセンサにより取得した環境の占有格子地図としての環境情報を利用することで、自由空間を把握しながら環境内での視点位置や視線方向を変更した画像を提示するシステムの開発を進めた。また、視覚受信者がヘッドマウントディスプレイを装着し、マウスにより選択した視点位置において視線方向を頭部の動きにより全方位にわたり変更できるインタフェースの開発を進めた。これまでは、マウスにより行っていた視線方向指示を頭部の動きと連動することで、より直観的に全方位を見渡すことが可能となった。全方位カメラを視覚提供者の頭部に搭載した全方位画像安定化技術とそれを用いた仮想視線操作技術の開発をゲームエンジンUnityの使用により試みた。搭載センサによる人の自己位置姿勢推定手法として、複数の姿勢センサを全身に搭載した推定手法、1台のレーザセンサと姿勢センサを使用した推定手法の開発を試みた。複数の姿勢センサを全身に搭載することで、視覚提供者の全身の姿勢も計測でき、その情報を視覚受信者に提供することで、全身情報をもとにした作業指示が行える。レーザセンサと姿勢センサを使用した自己位置姿勢推定では、センサユニットを頭部や腹部に搭載し、ともに良好な結果が得られ、環境地図も同時に作成した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
平成28年度は、全方位画像安定化技術の開発、および、全方位安定化画像を用いた仮想視線操作技術の開発に関して、プロトタイプの全方位画像安定化システムとしての機能の実現を行い、平成29年度は、全方位カメラを視覚提供者の頭部に搭載した全方位画像安定化技術とそれを用いた仮想視線操作技術の開発をゲームエンジンUnityの使用により試みた。
全方位画像安定化における仮想視線操作は、現在は姿勢センサのみを使用しての視線変更である。視覚受信者の頭部にヘッドマウントディスプレイと姿勢センサを搭載しての頭部の動きに応じてヘッドマウントディスプレイに提示する画像を更新する視線変更は今後開発を進めていく予定である。人の位置姿勢計測においては、平成28年度は、環境設置の外部センサによる位置計測を行った。平成29年度は、人に搭載したセンサのみでの位置姿勢推定技術の開発を2種類行った。推定自己位置姿勢や作成した環境地図等の情報の視覚受信者への送信は今後開発を進めていく。これまでは、環境内のある地点での全方位画像情報や環境形状情報は移動ロボットを利用して環境中をロボットが移動することで取得して実験を行ってきた。今後は、人に搭載したセンサによりそれらの情報の取得を行っていく。2台のレーザセンサにより取得した環境の占有格子地図としての環境情報を利用することで、自由空間を把握しながら環境内での視点位置や視線方向を変更した画像を提示するシステムの開発、視覚受信者がヘッドマウントディスプレイを装着して直観的に全方位で視線方向を変更できるインタフェースの開発を行ってきた。これらのシステムにおいて、実時間の情報に関しては、画像安定化技術を取り込んではなく、今後開発を進めていく。また、視覚提供者の全身姿勢情報の取得、大まかな環境地図を用いた任意の視点、視線方向の画像提示などは、当初の予定に加えて実施した内容となっている。
|
| Strategy for Future Research Activity |
次年度は、これまでに開発した全方位画像安定化システムの改良を行う。これまでの全方位画像安定化における仮想視線操作技術は、姿勢センサ単体のみの実現であったが、これを頭部搭載ヘッドマウントディスプレイと姿勢センサを利用した仮想視線操作技術として開発する。
これまでは、環境内のある地点での全方位画像情報や環境形状情報は移動ロボットを利用して環境中をロボットが移動することで取得して実験を行ってきた。次年度は、人に搭載したセンサによりそれらの情報の取得を行っていく。
2台のレーザセンサにより取得した環境の占有格子地図としての環境情報を利用することで、自由空間を把握しながら環境内での視点位置や視線方向を変更した画像を提示するシステム、視覚受信者がヘッドマウントディスプレイを装着して直観的に全方位で視線方向を変更できるインタフェースにおいて、実時間の情報に関しては、画像安定化技術を取り込んではなく、次年度はその開発を進めていく。
人の位置姿勢計測においては、人に搭載したセンサのみでの位置姿勢推定技術の開発を2種類行った。これらの技術により推定した自己位置姿勢や作成した環境地図等の情報の視覚受信者への送信の開発を次年度進めていく。そして、当初計画していたシステム統合による視点・視線方向を変更可能な視覚共有システムの開発を行っていく予定である。
|
| Causes of Carryover |
初年度において、研究発表、および、調査研究のための学会参加費等の旅費を見込んでいたが、研究の進捗状況により、学会参加には至らず、学会参加費等の旅費を使用しなかった分の平成29年度への使用が生じたため、その分平成29年度は、当初の計画における予算額よりも多くなっており、その多くなった分次年度使用が生じている。また、今年度の学会参加費等の旅費が予定よりも少なかったのも次年度使用が生じている理由のひとつとして挙げられる。
次年度使用額は、次年度においての開発システムの改良が必要であるため、そのための物品費の一部、および、学会参加費等の旅費の一部として使用する予定である。また、翌年度分として請求した助成金は、当初の計画のとおりのシステムの開発のための物品費、および、学会参加費等の旅費として使用する予定である。
|
Research Products
(3 results)
