• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Annual Research Report

実環境のセンシングに基づく時空を越えた複合現実型情報提示

Research Project

Project/Area Number 23240024
Research InstitutionNara Institute of Science and Technology

Principal Investigator

横矢 直和  奈良先端科学技術大学院大学, 情報科学研究科, 教授 (10252834)

Co-Investigator(Kenkyū-buntansha) 神原 誠之  奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (10346306)
佐藤 智和  奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (50362835)
Project Period (FY) 2011-04-01 – 2015-03-31
Keywords複合現実感 / センシング / 拡張現実感 / テレプレゼンス / コンピュータビジョン
Research Abstract

1.ユーザを含む実環境のセンシング
人体装着型全方位撮影システムを構築し、実証実験のフィールドとして設定した東大寺境内において、季節・時刻・天候の異なる様々な状況での撮影を行うとともに、全方位画像撮影時のカメラの位置・姿勢推定法の改良・評価を行った。また、環境の3次元復元結果における形状とテクスチャの欠損を自動修復する手法の改良を行った。
2.過去・現在に渡る拡張テレプレゼンス
遠隔地の映像に仮想物体を重畳合成して臨場感豊かに提示する拡張テレプレゼンスに関して、映像送受信インフラの改良を行うとともに、事前レンダリング画像群を用いた自由視点画像生成により重畳合成画像の画質向上を実現した。また、前年度の東大寺・東塔の仮想復元に続いて、実模型の3次元計測と古文書調査により西塔のスケール情報付き3次元モデルを構築し、拡張テレプレゼンスシステムの実証フィールドにおける提示コンテンツの充実を図った。これらの成果は研究項目3のプロトタイプシステムにおいても利用した。
3.過去・現在に渡る拡張現実感
研究項目1で得られた全方位画像群を用いる事前生成型拡張現実感システムおよび東大寺・僧坊跡地を対象とした地中透視型拡張現実感システムを開発し、タブレット端末に実装したプロトタイプシステムを用いて、東大寺友の会の会員等から募った一般参加者とコンテンツ保有者(東大寺僧侶)を対象とした実機を用いた一般公開実証実験を実施し、アンケート調査によりシステムの臨場感と使用感に関する調査と評価を行い、プロトタイプシステムの有用性を確認すると同時に、ユーザインタフェースとコンテンツ提示の方法に関して改良すべき課題を明確にした。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

3つの研究項目とも概ね計画通りに進展しており、前年度に引き続いて、東大寺の協力を得て、東大寺境内をフィールドとした拡張現実感の機能を有するモバイル型「バーチャル歴史体験」システムの実機を用いた一般公開の実証実験を実施することができた。また、この実験では、新たなコンテンツとして作成した東大寺・西塔の3次元モデルを使用するとともに、東大寺・僧坊跡地における発掘遺跡の地中透視型拡張現実感を実現した。本実験により、拡張現実感技術を用いたバーチャル歴史体験システムの有用性が確認されたが、同時に、ユーザインタフェースと屋外環境でのタブレット端末を用いた映像提示の問題点も明らかになった。
本研究は学界でも高い評価を得ており、本年度は、複合現実感および拡張現実感に関する最難関の国際会議であるISMAR2013において優秀論文賞(Best Paper Honorable Mention Award)を受賞した。

Strategy for Future Research Activity

当初計画通り、時空を越えた複合現実型情報提示技術の確立を目指して、要素技術開発と実証実験の相互フィードバックを基本として研究を推進する予定である。プロトタイプシステムに関しては、本年度の一般公開の実証実験で明らかになったユーザインタフェースと屋外における映像提示に係る課題について解決策を考える。また、次年度は最終年度にあたるため、全体の総括を行うとともに、本研究の成果を踏まえた次の展開について検討する。

  • Research Products

    (28 results)

All 2014 2013 Other

All Journal Article (11 results) (of which Peer Reviewed: 11 results) Presentation (14 results) (of which Invited: 2 results) Remarks (1 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] 信頼度を考慮したGPS測位情報の併用による動画像からのカメラ位置・姿勢推定2014

    • Author(s)
      粂 秀行, 穴井 哲治, 佐藤 智和, 武富 貴史, 高地 伸夫, 横矢 直和
    • Journal Title

      画像電子学会誌

      Volume: 43 Pages: 35-43

    • Peer Reviewed
  • [Journal Article] Sampling based bundle adjustment using feature matches between ground-view and aerial images2014

    • Author(s)
      Hideyuki Kume, Tomokazu Sato, and NaokazuYokoya
    • Journal Title

      Proc. Int. Conf. on Computer Vision Theory and Applications (VISAPP2014)

      Volume: 3 Pages: 692-698

    • Peer Reviewed
  • [Journal Article] Free-viewpoint mobile robot teleoperation interface using view-dependent geometry and texture2014

    • Author(s)
      Fumio Okura, Yuko Ueda, Tomokazu Sato, and Naokazu Yokoya
    • Journal Title

      ITE Trans. on Media Technology and Applications

      Volume: 2 Pages: 82-93

    • DOI

      10.3169/mta.2.82

    • Peer Reviewed
  • [Journal Article] 6-DOF camera pose estimation using reference points on an aerial image without altitude information2013

    • Author(s)
      Taiki Sekii, Hideyuki Kume, Tomokazu Sato, and Naokazu Yokoya
    • Journal Title

      IPSJ Trans. on Computer Vision and Applications

      Volume: 5 Pages: 134-142

    • DOI

      10.2197/ipsjtcva.5.134

    • Peer Reviewed
  • [Journal Article] Diminished reality for AR marker hiding based on image inpainting with reflection of luminance changes2013

    • Author(s)
      Norihiko Kawai, Masayoshi Yamasaki, Tomokazu Sato, and Naokazu Yokoya
    • Journal Title

      ITE Trans. on Media Technology and Applications

      Volume: 1 Pages: 343-353

    • DOI

      10.3169/mta.1.343

    • Peer Reviewed
  • [Journal Article] Interactive exploration of augmented aerial scenes with free-viewpoint image generation from pre-rendered images2013

    • Author(s)
      Fumio Okura, Masakuyi Kanbara, and Naokazu Yokoya
    • Journal Title

      Proc. 12th IEEE Int. Symposium on Mixed and Augmented Reality (ISMAR2013)

      Volume: - Pages: 279-280

    • DOI

      10.1109/ISMAR.2013.6671804

    • Peer Reviewed
  • [Journal Article] Diminished reality considering background structures2013

    • Author(s)
      Norihiko Kawai, Tomokazu Sato, and Naokazu Yokoya
    • Journal Title

      Proc. 12th IEEE Int. Symposium on Mixed and Augmented Reality (ISMAR2013)

      Volume: - Pages: 259-260

    • DOI

      10.1109/ISMAR.2013.6671794

    • Peer Reviewed
  • [Journal Article] Augmented reality image generation with virtualized real objects using view-dependent texture and geometry2013

    • Author(s)
      Yuta Nakashima, Yusuke Uno, Norihiko Kawai, Tomokazi Sato, and Naokazu Yokoya
    • Journal Title

      Proc. 12th IEEE Int. Symposium on Mixed and Augmented Reality (ISMAR2013), Works-in-Progress

      Volume: - Pages: 6 pages

    • DOI

      10.1109/ISMAR.2013.6671827

    • Peer Reviewed
  • [Journal Article] Generation of a super-resolved stereo video using two synchronized videos with different magnifications2013

    • Author(s)
      Yusuke Hayashi, Norihiko Kawai, Tomokazu Sato, Miyuki Okumoto, and Naokazu Yokoya
    • Journal Title

      Proc. 6th Pacific-Rim Symposium on Image and Video Technology (PSIVT2013)

      Volume: - Pages: 12 pages

    • DOI

      10.1007/978-3-642-53842-1_17

    • Peer Reviewed
  • [Journal Article] Teleoperation of mobile robots by generating augmented free-viewpoint images2013

    • Author(s)
      Fumio Okura, Yuko Ueda, Tomokazu Sato, and Naokazu Yokoya
    • Journal Title

      Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS2013)

      Volume: - Pages: 665-671

    • DOI

      10.1109/IROS.2013.6696422

    • Peer Reviewed
  • [Journal Article] Mobile AR using pre-captured omnidirectional images2013

    • Author(s)
      Takayuki Akaguma, Fumio Okura, Tomokazu Sato, and Naokazu Yokoya
    • Journal Title

      ACM SIGGRAPH Asia 2013 Symposium on Mobile Graphics and Interactive Applications

      Volume: - Pages: 26:1-26:4

    • DOI

      10.1145/2543651.2543666

    • Peer Reviewed
  • [Presentation] 自由視点画像生成に基づく移動撮影した全方位動画像からの動物体除去2014

    • Author(s)
      井上 直哉, 河合 紀彦, 佐藤 智和, 大倉 史生, 中島 悠太, 横矢 直和
    • Organizer
      2014年電子情報通信学会総合大会
    • Place of Presentation
      新潟大学五十嵐キャンパス/新潟県新潟市
    • Year and Date
      20140318-20140321
  • [Presentation] 透視投影歪みの自動補正に基づく画像修復2014

    • Author(s)
      笹尾 海斗, 河合 紀彦, 佐藤 智和, 横矢 直和
    • Organizer
      2014年電子情報通信学会総合大会
    • Place of Presentation
      新潟大学五十嵐キャンパス/新潟県新潟市
    • Year and Date
      20140318-20140321
  • [Presentation] Single RGB-D video-stream based human-motion reenactment2014

    • Author(s)
      Fabian Lorenzo Dayrit, Yuta Nakashima, Tomokazu Sato, and Naoazu Yokoya
    • Organizer
      映像情報メディア学会メディア工学研究会
    • Place of Presentation
      北海道大学大学院情報科学研究科/北海道札幌市
    • Year and Date
      20140217-20140218
  • [Presentation] 点群へのプリミティブ当てはめに基づく形状とテクスチャの欠損修復2014

    • Author(s)
      中尾 聡志, 河合 紀彦, 佐藤 智和, 横矢 直和
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      福岡大学七隈キャンパス/福岡県福岡市
    • Year and Date
      20140213-20140214
  • [Presentation] 実シーンの照明環境を考慮した事前生成型拡張現実感システム2014

    • Author(s)
      赤熊 高行, 大倉 史生, 佐藤 智和, 横矢 直和
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      福岡大学七隈キャンパス/福岡県福岡市
    • Year and Date
      20140213-20140214
  • [Presentation] 自由視点画像生成による移動ロボットの遠隔操縦インタフェース2013

    • Author(s)
      大倉 史生, 上田 優子, 佐藤 智和, 横矢 直和
    • Organizer
      電気関係学会関西支部連合大会
    • Place of Presentation
      大阪電気通信大学寝屋川キャンパス/大阪府寝屋川市
    • Year and Date
      20131116-20131117
  • [Presentation] 点群への平面当てはめに基づく形状とテクスチャの欠損修復2013

    • Author(s)
      中尾 聡志, 河合 紀彦, 佐藤 智和, 横矢 直和
    • Organizer
      電気関係学会関西支部連合大会
    • Place of Presentation
      大阪電気通信大学寝屋川キャンパス/大阪府寝屋川市
    • Year and Date
      20131116-20131117
  • [Presentation] 事前レンダリング画像群を用いた自由視点画像生成に基づく写実的な拡張現実画像合成2013

    • Author(s)
      大倉 史生, 神原 誠之, 横矢 直和
    • Organizer
      日本バーチャルリアリティ学会複合現実感研究会
    • Place of Presentation
      利尻町交流促進施設「どんと」/北海道利尻郡利尻町
    • Year and Date
      20130926-20130927
  • [Presentation] 事前生成型モバイルAR2013

    • Author(s)
      赤熊 高行, 大倉 史生, 佐藤 智和, 横矢 直和
    • Organizer
      第18回日本バーチャルリアリティ学会大会
    • Place of Presentation
      グランフロント大阪 北館 ナレッジキャピタル/大阪府大阪市北区
    • Year and Date
      20130918-20130920
  • [Presentation] 撮影倍率の異なる2本の同期映像を用いた超解像ステレオ映像生成2013

    • Author(s)
      林 佑亮, 河合 紀彦, 佐藤 智和, 奥本 幸, 横矢 直和
    • Organizer
      画像の認識・理解シンポジウム(MIRU2013)
    • Place of Presentation
      国立情報学研究所/東京都千代田区
    • Year and Date
      20130729-20130801
  • [Presentation] 事前レンダリングと自由視点画像生成による仮想化実空間への仮想物体の写実的合成2013

    • Author(s)
      大倉 史生, 神原 誠之, 横矢 直和
    • Organizer
      画像の認識・理解シンポジウム(MIRU2013)
    • Place of Presentation
      国立情報学研究所/東京都千代田区
    • Year and Date
      20130729-20130801
  • [Presentation] 3次元計測と複合現実感2013

    • Author(s)
      横矢 直和
    • Organizer
      3次元計測フォーラムSPAR2013
    • Place of Presentation
      川崎市産業振興会館/神奈川県川崎市
    • Year and Date
      20130605-20130606
    • Invited
  • [Presentation] Generating augmented reality images with a real object using view-dependent texture and geometry2013

    • Author(s)
      Yusuke Uno, Yuta Nakashima, Norihiko Kawai, Tomokazu Sato, and Naokazu Yokoya
    • Organizer
      6th Korea-Japan Workshop on Mixed Reality (KJMR2013)
    • Place of Presentation
      沖縄科学技術大学院大学/沖縄県国頭郡恩納村
    • Year and Date
      20130412-20130414
  • [Presentation] 拡張現実感(AR)とコンピュータビジョン

    • Author(s)
      横矢 直和
    • Organizer
      センシング技術応用研究会第186回研究例会
    • Place of Presentation
      奈良先端科学技術大学院大学情報科学研究科/奈良県生駒市
    • Invited
  • [Remarks] 奈良先端科学技術大学院大学情報科学研究科視覚情報メディア研究室

    • URL

      http://yokoya.naist.jp/

  • [Patent(Industrial Property Rights)] 再帰性反射シートの製造方法及び製造装置2013

    • Inventor(s)
      神原 誠之, 横矢 直和, 和田 誠示
    • Industrial Property Rights Holder
      小笠原 直毅
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2013-160834
    • Filing Date
      2013-08-01
  • [Patent(Industrial Property Rights)] 画像生成装置、画像生成方法、およびプログラム2013

    • Inventor(s)
      河合 紀彦, 佐藤 智和, 横矢 直和, 中川 大輔
    • Industrial Property Rights Holder
      小笠原 直毅
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2013-264019
    • Filing Date
      2013-12-20

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi