• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Annual Research Report

携帯端末を用いた in-situ AR環境構築に関する研究

Research Project

Project/Area Number 24300048
Research InstitutionOsaka University

Principal Investigator

竹村 治雄  大阪大学, サイバーメディアセンター, 教授 (60263430)

Co-Investigator(Kenkyū-buntansha) 清川 清  大阪大学, サイバーメディアセンター, 准教授 (60358869)
間下 以大  大阪大学, サイバーメディアセンター, 助教 (00467606)
Project Period (FY) 2012-04-01 – 2015-03-31
Keywords拡張現実感 / コンピュータビジョン / パターン認識 / ユーザインタフェース
Research Abstract

25年度では24年度に開発した各要素技術の開発を継続しつつ,要素技術を融合させた.
反射モデル・光源環境に関する研究では24 年度に開発した技術をさらに発展させつつ,物体計測や環境計測技術と融合し,物体の幾何学的形状だけでなく,反射特性,周囲の光源環境など光学的な情報を同時に取得できる手法の開発を行った.24年度の研究では,物体の形状を既知とし,その材質を均質なものと仮定した研究であったが,25年度の研究では,物体の形状は既存手法を応用して計測し,その形状をボクセル化することで材質の変化等に対応した物体の反射特性と光源環境の推定手法を開発した.光源環境の推定は,非線形最適化問題になることが多いため,高負荷になりがちである.25年度ではGPUを用いた処理によって高速な推定を実現している.
物体計測・認識に関する研究では,幾何学的形状の計測を基本とした物体の形状復元,認識手法の開発を行った.物体および環境の復元では大規模な環境に適した手法を開発する必要が生じたため,大規模環境に適した手法の開発を優先した.この手法ではデータベースを用いた環境復元でも発生すると思われる,特徴量の誤対応問題の解決手法を開発した.
ユーザインタフェースについては,物体の配置や動作記述等,拡張現実空間でのインタラクションに適したインタフェースとシステムの開発を行った.また,一般的なPCだけでなく,ヘッドマウントディスプレイを対象としたシステムの開発を行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

光源環境の推定では,BRDFの推定やdistant light fieldのような無限遠の光源環境マップの推定は行わなかったが,物体の形状復元と合わせた手法を開発し,また,物体をボクセルで分割してボクセル毎にパラメータを推定する手法を開発した.この手法では複数の材質からなる物体や環境の反射特性を表現することができる.このことから,当初の予定とは異なっているが形状復元手法との融合もすすんでおり,概ね予定通りと言える.
物体や環境の認識においては,対象が大規模化するにつれて誤対応と処理時間の問題が発生することがわかった.そのため,25年度の研究では携帯端末への応用よりも誤対応問題の解決を優先した.一方,物体の形状復元については既存手法の応用によって,高精細に復元する手法を開発した.これらのことから,当初想定していなかった問題が発見されたため,想定より少し遅れていると言える.しかし,既存光源環境との融合は既存手法を利用しつつ進められており,全体への影響は少ない.
ユーザインタフェースについては,ヘッドマウントディスプレイとジェスチャ認識を用いた物体のテクスチャを操作する手法や,実物体の組み立て操作時にバーチャル物体で次の手順を表示する手法などを開発した.このことからユーザインタフェースに関する研究は概ね予定通りであると言える.

Strategy for Future Research Activity

今後,本研究課題では,要素技術である,光源環境の推定,物体の認識,ユーザインタフェースの研究を進める. また,システム全体を統合し,物体の反射特性や光源環境を含んだ,物体・環境のデータベースを構築し,それらを利用した複合現実感環境の構築を行う.
光源環境と反射特性の推定では,BRDFやdistant light fieldのようなモデルを組み合わせてより表現力の高いモデルの推定手法の開発や携帯端末での表現に適した手法の開発を行う.物体,環境の形状復元では形状と反射特性を利用した物体の認識手法の開発等を行う.ユーザインタフェースの開発では本研究計画で得られた物体のモデルを携帯端末やHMDで編集する手法の開発を引き続き行う.光源環境や反射特性は高次元のパラメータによって表現されるため,これらを直感的に編集できるユーザインタフェースやアプリケーションの開発を行う.
システムの統合では,携帯端末とサーバの連携によってユーザがシステムを利用している状態で推定を行い,ユーザに提示するシステムの開発を行う予定である.このようなシステムでは,過去に推定した光源環境や反射特性を事前知識として利用することが可能であるため,携帯端末でも利用可能な光源環境・反射特性の推定,認識手法を開発する.そのため,AR環境構築用のサーバとデータ集積用サーバを設置する.各サーバは研究の初期ではすでに所有しているものを流用し,研究の進捗に応じて適したものを購入する.
これらの研究で得られた成果は国内外の学会,論文誌等で発表する."

Expenditure Plans for the Next FY Research Funding

開発用に購入した計算機をサーバとしても利用しており,物品費の支出を押さえることができたため.また,国際会議の開催が国内やオーストラリアなど比較的近い場所で開催されており,支出が抑えられたため.
最終年度で研究の規模が大きくなるため,あらたな計算機を購入する予定である.
また,主に発表を行っている,国際会議International Symposium on Mixed and Augmented Reality は26年度はドイツ,ミュンヘンでの開催予定であり,今年度より旅費は多く必要である.

  • Research Products

    (8 results)

All 2014 2013

All Presentation (8 results)

  • [Presentation] Reflectance and Lightsource Estimation for Indoor AR Applications2014

    • Author(s)
      lexander Plopski, Tomohiro Mashita, Kiyoshi Kiyokawa, and Haruo Takemura
    • Organizer
      The 7th Korea-Japan Workshop on Mixed Reality
    • Place of Presentation
      Korea
    • Year and Date
      20140418-20140420
  • [Presentation] Pinch-n-Paste: Texture Transfer Gesture Interaction System with a see-through HMD2014

    • Author(s)
      Mami Mori, Tomohiro Mashita, Kiyoshi Kiyokawa, and Haruo Takemura
    • Organizer
      The 7th Korea-Japan Workshop on Mixed Reality
    • Place of Presentation
      Korea
    • Year and Date
      20140418-20140420
  • [Presentation] Reflectance and Light Source Estimation for Indoor AR Applications,2014

    • Author(s)
      Alexander Plopski, Tomohiro Mashita, Kiyoshi Kiyokawa, and Haruo Takemura
    • Organizer
      IEEE Virtual Reality
    • Place of Presentation
      Minnesota, USA
    • Year and Date
      20140329-20140402
  • [Presentation] The Effectiveness of an AR-based Context-Aware Assembly Support System in Object Assembly2014

    • Author(s)
      Bui Minh Khuong, Kiyoshi Kiyokawa, Andrew Miller, Joseph J. LaViola Jr., Tomohiro Mashita, and Haruo Takemura
    • Organizer
      IEEE Virtual Reality
    • Place of Presentation
      Minnesota, USA
    • Year and Date
      20140329-20140402
  • [Presentation] Parallel Lighting and Reflectance Estimation based on Inverse Rendering2013

    • Author(s)
      Tomohiro Mashita, Hiroyuki Yasuhara, Alexander Plopski, Kiyoshi Kiyokawa and Haruo Takemura
    • Organizer
      The 23rd International Conference on Artificial Reality and Telexistence
    • Place of Presentation
      Tokyo
    • Year and Date
      20131211-20131213
  • [Presentation] In-situ Lighting and Reflectance Estimation for indoor AR systems2013

    • Author(s)
      Tomohiro Mashita, Hiroyuki Yasuhara, Alexander Plopski, Kiyoshi Kiyokawa, Haruo Takemura
    • Organizer
      IEEE International Symposium on Mixed and Augmented Reality
    • Place of Presentation
      Adelaide, Australia
    • Year and Date
      20131001-20131004
  • [Presentation] インバースレンダリングに基づく拡張現実感のための光源環境と物体の反射特性の推定2013

    • Author(s)
      安原 広幸, 間下 以大, プロプスキ アレクサンダー, 清川 清, 竹村 治雄
    • Organizer
      第18回バーチャルリアリティ学会大会
    • Place of Presentation
      大阪
    • Year and Date
      20130918-20130920
  • [Presentation] A Study on an AR-based Toy-block Assembly Support System with Automatic Error Detection2013

    • Author(s)
      Bui Minh Khuong, Kiyoshi Kiyokawa, Tomohiro Mashita, and Haruo Takemura
    • Organizer
      The 6th Korea-Japan Workshop on Mixed Reality
    • Place of Presentation
      Okinawa, Japan
    • Year and Date
      20130412-20130414

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi