• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Annual Research Report

複合現実型情報空間の表現力基盤強化と体系化

Research Project

Project/Area Number 24220004
Research InstitutionRitsumeikan University

Principal Investigator

田村 秀行  立命館大学, 総合科学技術研究機構, 教授 (10367998)

Co-Investigator(Kenkyū-buntansha) 斎藤 英雄  慶應義塾大学, 理工学部, 教授 (90245605)
西浦 敬信  立命館大学, 情報理工学部, 准教授 (70343275)
木村 朝子  立命館大学, 情報理工学部, 教授 (20324832)
柴田 史久  立命館大学, 情報理工学部, 教授 (80314425)
大島 登志一  立命館大学, 映像学部, 教授 (40434708)
Project Period (FY) 2012-05-31 – 2017-03-31
Keywordsバーチャルリアリティ / 複合現実感 / 三次元音場 / 全天周映像 / 隠消現実感
Research Abstract

各課題について,H25年度はそれぞれ以下の研究を行った.
(A) 没入型映像&音像空間での高臨場感複合現実体験:音響的にはXドーム床面に設置した残響制御用の間接スピーカを用いて,音像プラネタリウム基本ユニットにて構築した音像を損なわずに,Xドーム内の臨場感を向上させる残響制御手法を検討した.その結果,Xドーム内の固有残響時間を超える残響環境であれば,臨場感を向上可能な残響制御手法を考案した.さらに,球面超音波スピーカユニットの設計・構築を行い,これまで困難であった移動音像の構築に成功し,表現できる音像および音環境の種類が飛躍的に増大した.
(B) 隠消現実感の要素技術開発と技術体系構築
(B-1) 静的な隠背景情報を利用するDR:事前隠背景情報獲得の系統的実験が可能なDR実験専用スタジオを設営するため,研究拠点「MR創像ラボラトリ」を立命館朱雀キャンパスから,同市内の京都リサーチパーク内に移した.前年度の検討結果に基づき,背景としては,実物大の映画撮影セットと1/12のミニチュアセットを導入し,カメラ位置姿勢制御装置として,計算機制御可能なロボットアームに複数のカメラを装着する方式を実現した.新たな照明設備も導入して,この専用スタジオで系統的な画像シーケンスが得られることを確認した.
(B-2) 動的な隠背景情報を利用するDR:距離計測カメラを併用して,より複雑な3次元形状の隠背景シーンに対しても,3次元形状をリアルタイム復元し,ライブ透過型DRを実現可能な方式を開発した.これをスマートフォンやタブレット端末上でライブ透過型DR表示を実装した.また,復元された3次元形状モデルに基づくカメラ位置姿勢のリアルタイム推定技術として,視線生成型学習法を開発した.並行して,照明環境の整合性も一致させたDR表示の要素技術として,距離計測カメラによりシーンのリライティングを実装する研究を行った.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

課題(A)では,MR 体験空間であるXドームの常設化がH24年度に前倒しで完了したため,当年度はXドーム内の臨場感を向上させる残響制御手法の確立に加え,次年度予定のダブルプラネタリウム方式への拡張に向けて,球面超音波スピーカユニットの試作を行い,その可能性を確認できた.
課題(B-1)は,DR系統的実験スタジオの整備が順調に進み,当初予定より少し早く本格的研究実験が可能となった.
課題(B-2)は,距離計測カメラ併用方式・複数平面走査方式を進め,動的隠背景に対するスマートフォン端末上でのライブ透過型DRを実装した.また,復元された3次元形状モデルに基づいた視線生成型学習法によるカメラ位置姿勢のリアルタイム推定技術は大きく進展し,DRだけではなくMR表示への応用も進めた.
以上のように,(B-2)は遅延を取り戻し,(A)(B-1)は予定を前倒しして研究実験が進行している.

Strategy for Future Research Activity

・課題(A)では,H25年度に設計した球形超音波スピーカユニットを用いた移動音像の評価を行い,任意の移動音像に対する定位を実現する.加えてH27年度に計画しているダブルプラネタリウムの実現に向けて,放射面を可動できる超音波スピーカの開発にも着手し,指向性の自動制御を実現することで音像を体験できる人数の制御を試みる.また,超音波スピーカの大きな課題である音質と音量に対して,高出力超音波スピーカユニットを設計・開発することで,超音波スピーカの可能性を追求する.映像的には,Xドーム内での独自のハイブリッド表示方式を発展させ,立体視における錯視現象,半透明物体の効果的提示法の研究を推進する.
・課題(B-1) は,H25年度に構築した系統的実験が可能な DR実験専用スタジオを最大限に有効活用し,本格的なDR研究開発を展開する.事前取得した隠背景画像の重畳方法に関して,対象領域が平面近似できる場合とできない場合に大別して,それぞれに適した手法の精度を高める.
・課題(B-2)は,視線生成型学習法における3次元形状の表現を多様化し,スマートフォンやタブレット端末上での動作時に,同手法の安定性を増すことに注力する.さらに,デプスカメラ併用方式における距離センサ情報の高解像度化,ノイズ軽減を図り,これを達成する.また,複数平面走査方式を利用した透過型DRについても,引き続き研究を高度化していく.

  • Research Products

    (49 results)

All 2014 2013 Other

All Journal Article (5 results) (of which Peer Reviewed: 5 results) Presentation (43 results) (of which Invited: 1 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Virtual Handcrafting: Building virtual wood models using ToolDevice2014

    • Author(s)
      Ryan Arisandi, Mai Otsuki, Asako Kimura, Fumihisa Shibata, and Hideyuki Tamura
    • Journal Title

      Proc. of the IEEE

      Volume: Vol. 102, No.2 Pages: 185 - 195

    • Peer Reviewed
  • [Journal Article] RGB-Dカメラから得られる部分物体形状と影に基づく光源推定2013

    • Author(s)
      池田拓也, 小山田雄仁, 杉本麻樹, 斎藤英雄
    • Journal Title

      映像情報メディア学会誌

      Volume: Vol. 67,No. 4 Pages: J124 - J133

    • Peer Reviewed
  • [Journal Article] ブラインドインパルス応答推定に基づく高残響下音源位置推定法2013

    • Author(s)
      倉谷泰弘, 林田亘平, 中山雅人, 西浦敬信
    • Journal Title

      電子情報通信学会論文誌(D)

      Volume: Vol. J96-D, No. 6 Pages: 1526 - 1535

    • Peer Reviewed
  • [Journal Article] X-Media Galaxyにおける移動音像実現のための音像補間2013

    • Author(s)
      伊藤仁一,中山雅人,西浦敬信,木村朝子,柴田史久,田村秀行
    • Journal Title

      日本バーチャルリアリティ学会論文誌

      Volume: Vol. 18, No. 3 Pages: 405 - 414

    • Peer Reviewed
  • [Journal Article] 空間・周波数領域多重解像度走査に基づく実時間近接音源位置推定2013

    • Author(s)
      林田 亘平, 中山 雅人, 西浦 敬信, 山下 洋一
    • Journal Title

      電気学会論文誌(C)

      Volume: Vol. 133-C, No. 12 Pages: 2211 - 2218

    • Peer Reviewed
  • [Presentation] Novel Hybrid Visual Experience in dome-type mixed reality space

    • Author(s)
      Kyohei Kawakami, Takayuki Sugiyama, Asako Kimura, Fumihisa Shibata, and Hideyuki Tamura
    • Organizer
      6th Korea-Japan Workshop on Mixed Reality (KJMR 13)
    • Place of Presentation
      Okinawa Inst. of Sci. & Tech., Okinawa, Japan
  • [Presentation] Visualizing virtual annotations in task support system using region-based tracking

    • Author(s)
      Sandy Martedi, Hideo Saito, and Bruce Thomas
    • Organizer
      6th Korea-Japan Workshop on Mixed Reality (KJMR 13)
    • Place of Presentation
      Okinawa Inst. of Sci. & Tech., Okinawa, Japan
  • [Presentation] Towards 3D object registration and tracking based on viewpoint generative learning

    • Author(s)
      Dissaphong Thachasongtham, Takumi Yoshida, Francois de Sorbier, and Hideo Saito
    • Organizer
      6th Korea-Japan Workshop on Mixed Reality (KJMR 13)
    • Place of Presentation
      Okinawa Inst. of Sci. & Tech., Okinawa, Japan
  • [Presentation] Displayed object recognition for smartphone interaction

    • Author(s)
      Karim Kadar, Francois de Sorbier, and Hideo Saito
    • Organizer
      13th IAPR International Conference on Machine Vision Applications (MVA 2013)
    • Place of Presentation
      Ritsumeikan Univ., Kyoto, Japan
  • [Presentation] Stereo camera tracking for mixed reality-based PreViz of stereoscopic 3D cinema using ICP algorithm

    • Author(s)
      Shohei Mori, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura
    • Organizer
      13th IAPR International Conference on Machine Vision Applications (MVA 2013)
    • Place of Presentation
      Ritsumeikan Univ., Kyoto, Japan
  • [Presentation] Weighted double sideband modulation toward high quality audible sound on parametric loudspeaker

    • Author(s)
      Daisuke Ikefuji, Masato Nakayama, Takanobu Nishiura, and Yoichi Yamashita
    • Organizer
      38th Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP 2013)
    • Place of Presentation
      Vancouver Convention & Exhibition Centre, Vancouver, Canada
  • [Presentation] Parametric loudspeaker for speech signal based on the combination of amplitude and frequency modulations

    • Author(s)
      Toru Iwasaki, Daisuke Ikefuji, Masato Nakayama, and Takanobu Nishiura
    • Organizer
      21st Int. Congress on Acoustics (ICA 2013)
    • Place of Presentation
      Palais des Congres de Montreal, Montreal, Canada
  • [Presentation] Parametric loudspeaker for speech signal based on the combination of amplitude and frequency modulations

    • Author(s)
      Shohei Masunaga, Daisuke Ikefuji, Masato Nakayama, and Takanobu Nishiura
    • Organizer
      21st Int. Congress on Acoustics (ICA 2013)
    • Place of Presentation
      Palais des Congres de Montreal, Montreal, Canada
  • [Presentation] Steering for listening area of reflective audio spot with parametric loudspeaker array

    • Author(s)
      Tadashi Matsui, Daisuke Ikefuji, Masato Nakayama, and Takanobu Nishiura
    • Organizer
      21st Int. Congress on Acoustics (ICA 2013)
    • Place of Presentation
      Palais des Congres de Montreal, Montreal, Canada
  • [Presentation] An investigation into the relationship between sound quality and demodulation ratio for parametric loudspeakers

    • Author(s)
      Daisuke Ikefuji, Masato Nakayama, Takanobu Nishiura, and Yoichi Yamashita
    • Organizer
      21st Int. Congress on Acoustics (ICA 2013)
    • Place of Presentation
      Palais des Congres de Montreal, Montreal, Canada
  • [Presentation] 3D object pose estimation using viewpoint generative learning

    • Author(s)
      Dissaphong Thachasongtham, Takumi Yoshida, Francois de Sorbier, and Hideo Saito
    • Organizer
      18th Scandinavian Conf. on Image Analysis (SCIA 2013)
    • Place of Presentation
      Hanasaari Swedish-Finnish Cultural Centre, Espoo, Finland
  • [Presentation] Interactive stereoscopic authoring in MR-based pre-visualization for 3D filmmaking

    • Author(s)
      Shohei Mori, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura
    • Organizer
      Human-Computer Interaction International 2013
    • Place of Presentation
      Mirage Hotel, Las Vegas, USA
  • [Presentation] 間接動電型スピーカを用いた残響時間制御による全天周ドームにおける音像プラネタリウムの高臨場化

    • Author(s)
      生藤大典, 辻井秀弥, 益永翔平, 中山雅人, 西浦敬信, 山下洋一
    • Organizer
      第26回 回路とシステムワークショップ
    • Place of Presentation
      淡路夢舞台国際会議場(兵庫)
  • [Presentation] パラメトリックスピーカアレーを用いた壁面反射型オーディオスポット領域の拡大

    • Author(s)
      益永翔平, 生藤大典, 中山雅人, 西浦敬信
    • Organizer
      第26回 回路とシステムワークショップ
    • Place of Presentation
      淡路夢舞台国際会議場(兵庫)
  • [Presentation] 『百鬼面』:複合現実型エンタテインメントコンテンツ制作の体系化の検討

    • Author(s)
      柴田雄樹,一色康平,速水洸,田中千遥,大島登志一
    • Organizer
      第18回日本バーチャルリアリティ学会大会
    • Place of Presentation
      うめきた・グランフロント大阪(大阪)
  • [Presentation] RGB-Dカメラを用いて取得した環境3Dモデルに基づくスマートフォンによる拡張現実表示システム

    • Author(s)
      本田俊博, フランソワ・ドゥ・ソルビエ, 斎藤英雄
    • Organizer
      第18回日本バーチャルリアリティ学会大会
    • Place of Presentation
      うめきた・グランフロント大阪(大阪)
  • [Presentation] 距離画像カメラを用いた部分形状マッチングに基づく任意物体上での空間型AR

    • Author(s)
      坪井一菜, 小山田雄仁, 斎藤英雄, 杉本麻樹
    • Organizer
      第18回日本バーチャルリアリティ学会大会
    • Place of Presentation
      うめきた・グランフロント大阪(大阪)
  • [Presentation] 系統的データ取得が可能な隠消現実感実験用スタジオ

    • Author(s)
      江口裕也,森尚平,柴田史久,木村朝子,田村秀行
    • Organizer
      第18回日本バーチャルリアリティ学会大会
    • Place of Presentation
      うめきた・グランフロント大阪(大阪)
  • [Presentation] 音像プラネタリウム方式を用いた視聴覚併用MRシステムにおける移動音の実現

    • Author(s)
      中野亜美,中山雅人,西浦敬信,木村朝子,柴田史久,田村秀行
    • Organizer
      第18回日本バーチャルリアリティ学会大会
    • Place of Presentation
      うめきた・グランフロント大阪(大阪)
  • [Presentation] 形状変化する任意物体の実時間リライティング

    • Author(s)
      池田拓也, フランソワ・ドゥ・ソルビエ, 斎藤英雄
    • Organizer
      第18回日本バーチャルリアリティ学会大会
    • Place of Presentation
      うめきた・グランフロント大阪(大阪)
  • [Presentation] 曲面型パラメトリックスピーカを用いた受聴領域拡大の検討

    • Author(s)
      益永翔平,生藤大典,中山雅人,西浦敬信
    • Organizer
      日本音響学会2013年秋季研究発表会
    • Place of Presentation
      豊橋技術科学大学(愛知)
  • [Presentation] スペクトル包絡の相互相関に基づくパラメトリックスピーカの復調評価指標の策定

    • Author(s)
      松井唯,生藤大典,中山雅人,西浦敬信
    • Organizer
      日本音響学会2013年秋季研究発表会
    • Place of Presentation
      豊橋技術科学大学(愛知)
  • [Presentation] Real time relighting for an arbitrary shaped object using an RGB-D camera

    • Author(s)
      Takuya Ikeda, Francois de Sorbier, and Hideo Saito
    • Organizer
      Int. Symp. on Mixed and Augmented Reality (ISMAR 2013)
    • Place of Presentation
      Univ. of South Australia, Adelaide, Australia
  • [Presentation] Arbitrary textured 3D object tracking system

    • Author(s)
      Dissaphong Thachasongtham, Takumi Yoshida, François de Sorbier, and Hideo Saito
    • Organizer
      Int. Symp. on Mixed and Augmented Reality (ISMAR 2013)
    • Place of Presentation
      Univ. of South Australia, Adelaide, Australia
  • [Presentation] Region-based tracking using sequences of relevance measures

    • Author(s)
      Sandy Martedi, Bruce Thomas, and Hideo Saito
    • Organizer
      Int. Symp. on Mixed and Augmented Reality (ISMAR 2013)
    • Place of Presentation
      Univ. of South Australia, Adelaide, Australia
  • [Presentation] Arbitrarily shaped objects relighting using an RGB-D camera

    • Author(s)
      Takuya Ikeda, Francois de Sorbier, and Hideo Saito
    • Organizer
      2nd Asian Conf. on Pattern Recognition (ACPR 2013)
    • Place of Presentation
      Loisir Hotel & SPA Tower Naha, OKINAWA
  • [Presentation] Hyak-Ki Men - A Study of Framework for Creating Mixed Reality Entertainment

    • Author(s)
      Yuki Shibata, Kohei Isshiki, Ko Hayami, Chiharu Tanaka, and Toshikazu Ohshima
    • Organizer
      SIGGRAPH ASIA 2013
    • Place of Presentation
      Hong Kong Convention and Exhibition Centre, Hong Kong, China
  • [Presentation] スペクトル包絡の相互相関に基づくパラメトリックスピーカの復調評価指標の策定

    • Author(s)
      生藤大典,中山雅人,西浦敬信,山下洋一
    • Organizer
      第28回信号処理シンポジウム
    • Place of Presentation
      海峡メッセ下関(山口)
  • [Presentation] サラウンドパラメトリックスピーカを用いたキャリア波と側帯波の分離放射によるオーディオスポット形成

    • Author(s)
      松井唯,生藤大典,中山雅人,西浦敬信
    • Organizer
      第28回信号処理シンポジウム
    • Place of Presentation
      海峡メッセ下関(山口)
  • [Presentation] A tracking method for 2D canvas in MR-based interactive painting system

    • Author(s)
      Sandy Martedi, Mai Otsuki, Asako Kimura, Fumihisa Shibata, Maki Sugimoto, and Hideo Saito
    • Organizer
      9th Int. Conf. on Signal-Image Technology & Internet-Based Systems (SITIS 2013)
    • Place of Presentation
      Terrsa Conference Center, Kyoto, Japan
  • [Presentation] A tracking method for 2D canvas in MR-based interactive painting system

    • Author(s)
      Sandy Martedi, Mai Otsuki, Asako Kimura, Fumihisa Shibata, Maki Sugimoto, and Hideo Saito
    • Organizer
      23rd Int. Conf. on Artificial Reality and Teleexistence (ICAT 2013).
    • Place of Presentation
      National Museum of Emerging Science and Innovation, Tokyo, Japan
  • [Presentation] Towards practical applications of mixed and augmented reality based on computer vision

    • Author(s)
      Hideo Saito
    • Organizer
      2014 Int. Workshop on Advanced Image Technology (IWAIT 2014)
    • Place of Presentation
      Sukosol Hotel, Bangkok, Thailand
    • Invited
  • [Presentation] Augmented reality system using a smartphone based on getting a 3D environment model in real-time with an RGB-D camera

    • Author(s)
      Toshihiro Honda, Francois de Sorbier, and Hideo Saito
    • Organizer
      2014 Int. Workshop on Advanced Image Technology (IWAIT 2014)
    • Place of Presentation
      Sukosol Hotel, Bangkok, Thailand
  • [Presentation] Real time relighting with dynamic light environment using an RGB-D camera

    • Author(s)
      Takuya Ikeda, Francois de Sorbier, and Hideo Saito
    • Organizer
      2014 Int. Workshop on Advanced Image Technology (IWAIT 2014)
    • Place of Presentation
      Sukosol Hotel, Bangkok, Thailand
  • [Presentation] 隠消現実感における隠背景投影誤差の軽減(2) -周辺参照領域の効果的利用-

    • Author(s)
      小向啓文,森尚平,柴田史久,木村朝子,田村秀行
    • Organizer
      日本バーチャルリアリティ学会複合現実感研究会
    • Place of Presentation
      大阪大学(大阪)
  • [Presentation] 環境3Dモデルに基づくスマートフォン上での実時間隠消現実感

    • Author(s)
      本田俊博,斎藤英雄
    • Organizer
      日本バーチャルリアリティ学会複合現実感研究会
    • Place of Presentation
      大阪大学(大阪)
  • [Presentation] RGB-Dカメラを用いた動的光源環境へのリライティング

    • Author(s)
      池田拓也,フランソワ・ドゥ・ソルビエ,斎藤英雄
    • Organizer
      日本バーチャルリアリティ学会複合現実感研究会
    • Place of Presentation
      大阪大学(大阪)
  • [Presentation] 物体表面の見えの変化に対応した生成型学習による3次元物体トラッキング

    • Author(s)
      篠塚祐紀子,ディサポン・タチャソンタム,斎藤英雄
    • Organizer
      日本バーチャルリアリティ学会複合現実感研究会
    • Place of Presentation
      大阪大学(大阪)
  • [Presentation] Listening area expansion of reflective audio spot with curved-type parametric loudspeaker

    • Author(s)
      Shohei Masunaga, Daisuke Ikefuji, Masato Nakayama, and Takanobu Nishiura
    • Organizer
      RISP 2014 Int. Workshop on Nonlinear Circuits, Communication and Signal Processing (NCSP '14)
    • Place of Presentation
      Waikiki Beach Marriott Resort & Spa, Honolulu, Hawaii, USA
  • [Presentation] 曲面型パラメトリックスピーカを用いた壁面反射型オーディオスポットの拡大

    • Author(s)
      益永翔平,生藤大典,中山雅人,西浦敬信
    • Organizer
      日本音響学会2014年春季研究発表会
    • Place of Presentation
      日本大学(東京)
  • [Presentation] 曲面型パラメトリックスピーカを用いた移動音像構築の基礎検討

    • Author(s)
      生藤大典,中山雅人,西浦敬信,山下洋一
    • Organizer
      日本音響学会2014年春季研究発表会
    • Place of Presentation
      日本大学(東京)
  • [Presentation] 隠消現実感のための隠背景画像再構成へのLight Field Renderingの利用

    • Author(s)
      中西雄大,柳田晃平,森尚平,柴田史久,木村朝子,田村秀行
    • Organizer
      情報処理学会第76回全国大会
    • Place of Presentation
      東京電機大学(東京)
  • [Presentation] Stretch 'n' Cut: Method for observing and ungrouping complex virtual objects in 3d space using elastic band metaphor

    • Author(s)
      Mai Otsuki, Asako Kimura, Fumihisa Shibata, and Hideyuki Tamura
    • Organizer
      IEEE 9th Symp. on 3D User Interfaces (3DUI 2014)
    • Place of Presentation
      Commons Hotel, Minneapolis, USA
  • [Patent(Industrial Property Rights)] 音響空間設定方法、パラメトリックスピーカおよび音響システム2013

    • Inventor(s)
      西浦敬信,中山雅人,益永翔平,生藤大典
    • Industrial Property Rights Holder
      学校法人立命館
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2013-197599
    • Filing Date
      2013-09-24

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi