• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2012 Fiscal Year Annual Research Report

実環境のセンシングに基づく時空を越えた複合現実型情報提示

Research Project

Project/Area Number 23240024
Research InstitutionNara Institute of Science and Technology

Principal Investigator

横矢 直和  奈良先端科学技術大学院大学, 情報科学研究科, 教授 (10252834)

Co-Investigator(Kenkyū-buntansha) 神原 誠之  奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (10346306)
佐藤 智和  奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (50362835)
Project Period (FY) 2011-04-01 – 2015-03-31
Keywords複合現実感 / センシング / 拡張現実感 / テレプレゼンス / コンピュータビジョン
Research Abstract

1.ユーザを含む実環境のセンシング
飛行船を用いた空撮による全天球ハイダイナミックレンジ画像の取得を行うとともに、実証実験フィールドの1つである東大寺境内において人体装着型全方位映像撮影システムを用いた移動撮影を実施した。また、全方位画像撮影時のカメラの位置・姿勢推定法の評価・改良を行い、位置・姿勢情報付き多視点画像からのシーンの3次元復元法を開発した。さらに、3次元復元時に生じる欠損を修復する3次元形状欠損修復法を開発した。
2.過去・現在に渡る拡張テレプレゼンス
遠隔地の映像に仮想物体を重畳合成し臨場感豊かに提示する新しい概念として研究代表者らが提案している「拡張テレプレゼンス」の有効性と有用性を検証するために、「遠隔地のバーチャル歴史体験」シナリオに基づく、過去・現在の情報を重畳合成可能な実時間高臨場感拡張テレプレゼンスシステムのプロトタイプを開発した。同システムは、全方位カメラで取得した遠隔地の映像をネットワークを介して伝送し、受信側で仮想物体を実時間合成し大型高精細ディスプレイとヘッドマウントディスプレイに提示する構成になっている。実際に、東大寺境内において消失している東塔(七重の塔)の仮想復元を行い、一般参加者を対象とした実証実験を通して提案方式の有効性を確認した。
3.過去・現在に渡る拡張現実感
映像提示デバイスとしてタブレット型情報端末を利用する、過去・現在の情報を端末の向きに追従しながら実時間重畳表示可能なモバイル拡張現実感システムのプロトタイプを開発し、東大寺・大仏殿をフィールドとする一般参加者を対象とした実証実験を実施した。なお、現状のシステムでは観察視点は事前に設定した場所に固定であり、自由な視点移動の実現は今後の課題である。同実験では創建時の大仏殿と大仏の仮想復元を行い、プロトタイプシステムのユーザインタフェース評価のための基礎データを収集した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

3つの研究項目とも概ね計画通りに進展しており、東大寺の協力を得て、東大寺境内(主に二月堂、東塔跡地、大仏殿周辺)をフィールドとした拡張テレプレゼンスと拡張現実感の機能を有する「バーチャル歴史体験」システムの実機を用いた一般参加者を対象とした実証実験を実施することができた。これによって次年度以降のプロトタイプシステムの改良とコンテンツ作成に資する基礎データを収集した。ただし、飛行船を用いた東大寺の空撮に関して、本年度は飛行船を飛ばす許可が得られず、次年度以降の課題として残った。
本研究は学界でも高い評価を得ており、特に、本年度は、実環境のハイダイナミックセンシングと拡張テレプレゼンスの研究に関して、日本バーチャルリアリティ学会2012年度論文賞および電子情報通信学会マルチメディア・仮想環境基礎研究会2012年MVE賞を受賞した。

Strategy for Future Research Activity

当初計画通り、時空を越えた複合現実型情報提示技術の確立を目指して、要素技術開発と実証実験の相互フィードバックを基本として研究を推進する予定である。実証実験を重視し、具体的なフィールドとしては、本年度に本格化した東大寺との連携をさらに強化する。また、「バーチャル歴史体験」のシナリオに基づく実証実験のための歴史コンテンツとしては、東大寺・僧坊跡地における発掘遺跡の透視型拡張現実感や東大寺・西塔の仮想復元等を追加する予定である。

  • Research Products

    (20 results)

All 2013 2012 Other

All Journal Article (6 results) (of which Peer Reviewed: 6 results) Presentation (13 results) (of which Invited: 1 results) Remarks (1 results)

  • [Journal Article] 6-DOF camera pose estimation using reference points on an aerial image without altitude2013

    • Author(s)
      Taiki Sekii
    • Journal Title

      IPSJ Trans. on Computer Vision and Applications

      Volume: 5 Pages: -

    • Peer Reviewed
  • [Journal Article] 無人飛行船に搭載された2台の全方位カメラを用いた不可視領域のない全天球HDRビデオの生成2012

    • Author(s)
      大倉史生
    • Journal Title

      日本バーチャルリアリティ学会論文誌

      Volume: 17 Pages: 139-149

    • Peer Reviewed
  • [Journal Article] Gooraffiti Umechika:人が消える地下街パノラマビューア2012

    • Author(s)
      新井イスマイル
    • Journal Title

      情報処理学会論文誌

      Volume: 53 Pages: 1546-1557

    • Peer Reviewed
  • [Journal Article] AR marker hiding based on image inpainting and reflection of illumination changes2012

    • Author(s)
      Norihiko Kawai
    • Journal Title

      Proc. 11th IEEE and ACM Int. Symposium on Mixed and Augmented Reality (ISMAR2012)

      Volume: - Pages: 293-294

    • Peer Reviewed
  • [Journal Article] Image inpainting considering symmetric patterns2012

    • Author(s)
      Norihiko Kawai
    • Journal Title

      Proc. 21st IAPR Int. Conf. on Pattern Recognition (ICPR2012)

      Volume: - Pages: 2744-2747

    • Peer Reviewed
  • [Journal Article] Full spherical high dynamic range imaging from the sky2012

    • Author(s)
      Fumio Okura
    • Journal Title

      Proc. IEEE Int. Conf. on Multimedia and Expo (ICME2012)

      Volume: - Pages: 325-332

    • Peer Reviewed
  • [Presentation] Diminished reality by image inpainting considering shade and shadow in augmented reality

    • Author(s)
      Norihiko Kawai
    • Organizer
      5th Korea-Japan Workshop on Mixed Reality (KJMR2012)
    • Place of Presentation
      Seoul, Korea
  • [Presentation] エネルギー最小化に基づく三次元モデルのテクスチャの欠損修復

    • Author(s)
      佐藤琢矢
    • Organizer
      画像の認識・理解シンポジウム(MIRU2012)
    • Place of Presentation
      福岡県福岡市
  • [Presentation] ARマーカの除去のための画像修復に基づく陰影を考慮した隠消現実感

    • Author(s)
      山崎将由
    • Organizer
      画像の認識・理解シンポジウム(MIRU2012)
    • Place of Presentation
      福岡県福岡市
  • [Presentation] 特徴点の固有回転・スケール情報を用いたベースライン距離の長い全方位画像群に対するエピポーラ幾何推定

    • Author(s)
      佐藤智和
    • Organizer
      画像の認識・理解シンポジウム(MIRU2012)
    • Place of Presentation
      福岡県福岡市
  • [Presentation] 明度分布と空間的分布が二分されるHDR画像のための領域分割を用いたトーンマッピング

    • Author(s)
      北浦真樹
    • Organizer
      画像の認識・理解シンポジウム(MIRU2012)
    • Place of Presentation
      福岡県福岡市
  • [Presentation] 高度が未知の航空写真上の参照点を用いた地上撮影画像からのカメラ位置・姿勢推定

    • Author(s)
      関井大気
    • Organizer
      画像の認識・理解シンポジウム(MIRU2012)
    • Place of Presentation
      福岡県福岡市
  • [Presentation] 撮影倍率の異なる2 本の同期映像を用いた超解像ステレオ映像生成

    • Author(s)
      林佑亮
    • Organizer
      2012年映像情報メディア学会年次大会
    • Place of Presentation
      広島県広島市
  • [Presentation] 実環境のセンシングに基づく複合現実型情報提示

    • Author(s)
      横矢直和
    • Organizer
      日本色彩学会視覚情報基礎研究会 第13回研究発表会
    • Place of Presentation
      東京都新宿区
    • Invited
  • [Presentation] 蓄積再生型テレプレゼンスにおける空撮全天球HDR画像の提示手法

    • Author(s)
      大倉史生
    • Organizer
      電子情報通信学会マルチメディア・仮想環境基礎研究会
    • Place of Presentation
      北海道根室市
  • [Presentation] 観察視点位置を自由に変更可能な遠隔移動ロボット操縦インタフェース

    • Author(s)
      上田優子
    • Organizer
      電気関係学会関西支部連合大会
    • Place of Presentation
      大阪府吹田市
  • [Presentation] 視点依存テクスチャマッピングを用いた拡張現実感における仮想物体の輪郭形状の修復

    • Author(s)
      宇野祐介
    • Organizer
      電気関係学会関西支部連合大会
    • Place of Presentation
      大阪府吹田市
  • [Presentation] 拡張現実感のための視点依存テクスチャ・ジオメトリに 基づく仮想化実物体の輪郭形状の修復

    • Author(s)
      宇野祐介
    • Organizer
      電子情報通信学会マルチメディア・仮想環境基礎研究会
    • Place of Presentation
      京都府京都市
  • [Presentation] 拡張自由視点画像生成を用いた遠隔移動ロボット操縦インタフェース

    • Author(s)
      上田優子
    • Organizer
      電子情報通信学会マルチメディア・仮想環境基礎研究会
    • Place of Presentation
      京都府京都市
  • [Remarks] 奈良先端科学技術大学院大学情報科学研究科視覚情報メディア研究室

    • URL

      http://yokoya.naist.jp/

URL: 

Published: 2014-07-24  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi