三感融合型複合現実空間の構成法に関する研究

2008 年度 研究成果報告書

• 研究課題/領域番号: 17200014
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 立命館大学
• 研究代表者: 田村 秀行 立命館大学, 情報理工学部, 教授 (10367998)
• 研究分担者: 西浦 敬信 立命館大学, 情報理工学部, 准教授 (70343275) ; 柴田 史久 立命館大学, 情報理工学部, 准教授 (80314425)
• 連携研究者: 木村 朝子 独立行政法人科学技術振興機構, さきがけ研究員 (20324832) ; 大島 登志一 立命館大学, 映像学部, 教授 (40434708)
• 研究期間 (年度): 2005 – 2008
• キーワード: 複合現実感 / 三感融合 / 幾何学的整合性 / 三次元音場 / 音イベント / 触印象

研究概要

現実と仮想を実時間で融合・提示する「複合現実感」に関して, 主たる「視覚」に「聴覚」「触覚」も加えた「三感融合型複合現実空間」の構築法を研究した. 具体的には, 現実世界で発した音刺激が複合現実空間に及ぼす影響, 現実空間に重畳される仮想物体のCG像と音像の幾何学的整合性, 複合現実型視覚刺激と聴覚刺激が触印象に与える影響に関して研究実験を行い, 実際に稼動するシステムでその有効性や仮説を検証した.

研究成果

• [雑誌論文] 視聴覚併用複合現実空間のスケール感に関する考察 (2008)
  • 著者名/発表者名: 石黒祥生, 比嘉恭太, 木村朝子, 柴田史久, 田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 Vol.13, No.2 ページ: 125-128
  • 査読あり
• [雑誌論文] 複合現実型視覚刺激による触印象への影響 (2008)
  • 著者名/発表者名: 家崎明子, 杣田明弘, 木村朝子, 柴田史久, 田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌響 ページ: 129-139
  • 査読あり
• [雑誌論文] 視覚・聴覚の現実と仮想を融合する2×2方式複合現実感システムの実現 (2008)
  • 著者名/発表者名: 比嘉恭太, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 ページ: 227-237
  • 査読あり
• [雑誌論文] 複合現実空間との新しいマルチモーダル・インタラクション方法の提案と実現 (2008)
  • 著者名/発表者名: 大槻麻衣, 木村朝子, 西浦敬信, 柴田史久, 田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 ページ: 247-255
  • 査読あり
• [雑誌論文] Watch the Birdie! -三感融合型複合現実感アトラクション (2007)
  • 著者名/発表者名: 石黒祥生, 大槻麻衣, 比嘉恭太, 木村朝子, 柴田史久, 田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 Vol.12, No.3 ページ: 259-268
  • 査読あり
• [雑誌論文] Robust talker direction estimation based on weighted CSP analysis and maximum likelihood estimation, IEICE Trans (2006)
  • 著者名/発表者名: Y. Denda, T. Nishiura, and Y. Yamashita
  • 雑誌名: on Inform. & Systems Vol.E89-D, No.3 ページ: 1050-1057
  • 査読あり
• [雑誌論文] 複合現実型アトラクションのための自然落下物表現法 (2005)
  • 著者名/発表者名: 一刈良介, 木村朝子, 柴田史久, 田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 Vol.10, No.3 ページ: 273-280
  • 査読あり
• [雑誌論文] 複合現実型視覚刺激と聴覚刺激が触印象に及ぼす影響
  • 著者名/発表者名: 鍵本麻美, 木村朝子, 柴田史久, 田村秀行
  • 雑誌名: 日本バーチャルリアリティ学会論文誌 Vol.19, No.3(採録決定)
  • 査読あり
• [学会発表] A design of 3-dimensional sound field simulator based on acoustic ray tracing and HRTF (2009)
  • 著者名/発表者名: K. Onaka and T. Nishiura
  • 学会等名: Proc. 13th IEEE Int. Symp. Consumer Electronics
  • 発表場所: Kyoto
  • 年月日: 20090500
• [学会発表] 頭部回折を考慮した音線追跡法に基づく3次元音場シミュレータの構築 (2009)
  • 著者名/発表者名: 大中健司, 西浦敬信
  • 学会等名: 日本音響学会2009年春季研究発表会
  • 発表場所: 東京
  • 年月日: 20090300
• [学会発表] 複合現実型視覚刺激が重心知覚に与える影響 (2009)
  • 著者名/発表者名: 杣田明弘, 溝口晃太, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 第71回情報処理学会全国大会講演論文集(4)
  • 発表場所: 滋賀
  • 年月日: 20090300
• [学会発表] 複合現実型視覚刺激が重心知覚に与える影響の基礎的実験 (2009)
  • 著者名/発表者名: 杣田明弘, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: インタラクション2009
  • 発表場所: 東京
  • 年月日: 20090300
• [学会発表] 複合現実型視覚刺激による触印象への影響(3)-聴覚刺激の付加による新しい知見- (2008)
  • 著者名/発表者名: 鍵本麻美, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 第13回日本バーチャルリアリティ学会大会論文集
  • 発表場所: 奈良
  • 年月日: 20080900
• [学会発表] 視覚・聴覚を併用した複合現実感システムの開発(4)-複合現実空間での音の反射・遮断の実現- (2008)
  • 著者名/発表者名: 吉野将治, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 第13回日本バーチャルリアリティ学会大会論文集
  • 年月日: 20080900
• [学会発表] Rhythm of the Rain in 3D-視聴覚3D-MR空間の表現力を体験できる複合現実型アトラクション- (2008)
  • 著者名/発表者名: 村井嘉彦, 深川亜美, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 第13回日本バーチャルリアリティ学会大会論文集
  • 年月日: 20080900
• [学会発表] 頭部伝達特性を考慮した音線追跡法に基づく3次元音場シミュレータの構築 (2008)
  • 著者名/発表者名: 大中健司, 山田樹一郎, 西浦敬信
  • 学会等名: 日本音響学会2008年秋季研究発表会
  • 発表場所: 東京
  • 年月日: 20080900
• [学会発表] Novel interaction methods with mixed reality space, Proc (2008)
  • 著者名/発表者名: M. Otsuki, A. Kimura, F. Shibata, and H. Tamura
  • 学会等名: SICE Annu. Conf.2008
  • 発表場所: Tokyo
  • 年月日: 20080800
• [学会発表] 視覚・聴覚を併用した複合現実感システムの開発(3)-頭部伝達関数の選択と接合法の改良- (2008)
  • 著者名/発表者名: 湊佳彦, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 電子情報通信学会2008年総合大会
  • 発表場所: 福岡
  • 年月日: 20080300
• [学会発表] 視聴覚併用型複合現実空間での仮想物体による実音の反射と遮音 (2008)
  • 著者名/発表者名: 吉野将治, 比嘉恭太, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 電子情報通信学会2008年総合大会
  • 年月日: 20080300
• [学会発表] A new acoustic method of table-top and full-3D interaction with mixed reality space (2008)
  • 著者名/発表者名: M. Otsuki, A. Kimura, F. Shibata, and H. Tamura
  • 学会等名: Proc. Int. Workshop on Ubiquitous Virtual Reality (IWUVR 2008)
  • 発表場所: Osaka
  • 年月日: 20080100
• [学会発表] A two-by-two mixed reality system that merges real and virtual worlds in both audio and visual senses (2007)
  • 著者名/発表者名: K. Higa, T. Nishiura, A. Kimura, F. Shibata, and H. Tamura
  • 学会等名: Proc. 6th Int. Symp. on Mixed and Augmented Reality (ISMAR 2007)
  • 発表場所: Nara
  • 年月日: 20071100
• [学会発表] 2×2 Audio-Visual Mixed Reality and RealSound Interaction (2007)
  • 著者名/発表者名: K. Higa, M. Otsuki, Y. Ishiguro, A. Kimura, F. Shibata, and H. Tamura
  • 学会等名: ibid
  • 年月日: 20071100
• [学会発表] RealSound Interaction : A novel interaction method using sound events in real world, Adjunct Proc (2007)
  • 著者名/発表者名: M. Otsuki, A. Kimura, T. Nishiura, F. Shibata, and H. Tamura
  • 学会等名: 20th Annual ACM Symp. on User Interface Software and Technology (UIST 2007)
  • 発表場所: RI, U.S.A
  • 年月日: 20071000
• [学会発表] 視聴覚併用複合現実空間のスケール感に関する考察 (2007)
  • 著者名/発表者名: 石黒祥生, 比嘉恭太, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 日本バーチャルリアリティ学会第12回大会論文集
  • 発表場所: 福岡
  • 年月日: 20070900
• [学会発表] 複合現実型視覚刺激による触印象への影響(1)-研究構想と基礎実験- (2007)
  • 著者名/発表者名: 家崎明子, 杣田明弘, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 日本バーチャルリアリティ学会第12回大会論文集
  • 年月日: 20070900
• [学会発表] 複合現実型視覚刺激による触印象への影響(2)-素材感の提示と曲面物体への展開- (2007)
  • 著者名/発表者名: 杣田明弘, 家崎明子, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 日本バーチャルリアリティ学会第12回大会論文集
  • 年月日: 20070900
• [学会発表] RealSound Interaction : A novel interaction method with mixed reality space by localizing sound events in real world (2007)
  • 著者名/発表者名: M. Otsuki, A. Kimura, T. Nishiura, F. Shibata, and H. Tamura
  • 学会等名: Proc. Human-Computer Interaction 2007
  • 発表場所: Beijing, China
  • 年月日: 20070700
• [学会発表] 視聴覚併用型複合現実空間のスケール感に関する実験と考察 (2007)
  • 著者名/発表者名: 松實洋介, 比嘉恭太, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 電子情報通信学会2007年総合大会
  • 発表場所: 愛知
  • 年月日: 20070300
• [学会発表] 複合現実型視覚刺激が触覚に与える影響(1) (2007)
  • 著者名/発表者名: 家崎明子, 杣田明弘, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 電子情報通信学会2007年総合大会
  • 年月日: 20070300
• [学会発表] 複合現実型視覚刺激が触覚に与える影響(2) (2007)
  • 著者名/発表者名: 杣田明弘, 家崎明子, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 電子情報通信学会2007年総合大会
  • 年月日: 20070300
• [学会発表] RealSound Interaction : 現実世界の音イベント検出を利用した複合現実空間との対話デバイス (2007)
  • 著者名/発表者名: 大槻麻衣, 木村朝子, 西浦敬信, 柴田史久, 田村秀行
  • 学会等名: インタラクション2007
  • 発表場所: 東京
  • 年月日: 20070300
• [学会発表] 現実の音イベントの方向・位置の推定とその複合現実空間への反映 (2006)
  • 著者名/発表者名: 大槻麻衣, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 日本バーチャルリアリティ学会第11回大会論文集
  • 発表場所: 仙台
  • 年月日: 20060900
• [学会発表] Watch the Birdie! -視聴覚MR と音イベント検出を利用した複合現実型アトラクション (2006)
  • 著者名/発表者名: 石黒祥生, 大槻麻衣, 比嘉恭太, 上坂晃雅, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 日本バーチャルリアリティ学会第11回大会論文集
  • 年月日: 20060900
• [学会発表] 視覚・聴覚を併用した複合現実感システムの開発(1)-視覚的MRと聴覚的MRの同時提示の実現- (2006)
  • 著者名/発表者名: 比嘉恭太, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 日本バーチャルリアリティ学会第11回大会論文集
  • 年月日: 20060900
• [学会発表] 視覚・聴覚を併用した複合現実感システムの開発(2)-体験者に合った頭部伝達関数の選択と接合法の検討- (2006)
  • 著者名/発表者名: 湊佳彦, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 日本バーチャルリアリティ学会第11回大会論文集
  • 年月日: 20060900
• [学会発表] 視覚, 聴覚融合型複合現実感システムの開発 (2006)
  • 著者名/発表者名: 比嘉恭太, 湊佳彦, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 電子情報通信学会2006年総合大会
  • 発表場所: 東京
  • 年月日: 20060300
• [学会発表] 現実空間での音検出とその複合現実空間へのイベント入力利用 (2006)
  • 著者名/発表者名: 大槻麻衣, 西浦敬信, 木村朝子, 柴田史久, 田村秀行
  • 学会等名: 日本バーチャルリアリティ学会第11回大会論文集
  • 年月日: 20060300
• [学会発表] 音声認識における初期反射音の影響についての検討 (2006)
  • 著者名/発表者名: 西浦敬信, 傳田遊亀
  • 学会等名: 日本音響学会2006年度春期全国大会講演論文集
  • 発表場所: 東京
  • 年月日: 20060300
• [学会発表] Weighted CSP法と音声特徴量に基づくハンズフリー発話区間検出の検討 (2006)
  • 著者名/発表者名: 田中貴雅, 傳田遊亀, 中山雅人, 西浦敬信
  • 学会等名: 日本音響学会2006年度春期全国大会講演論文集
  • 年月日: 20060300
• [学会発表] マイクロホンアレーと全方位画像を用いたマルチモーダル発話者方向推定 (2006)
  • 著者名/発表者名: 傳田遊亀, 西浦敬信, 山下洋一
  • 学会等名: 日本音響学会2006年度春期全国大会講演論文集
  • 年月日: 20060300
• [学会発表] 音素特徴量に基づく適応形アレーの検討 (2006)
  • 著者名/発表者名: 中山雅人, 西浦敬信, 山下洋一
  • 学会等名: 日本音響学会2006年度春期全国大会講演論文集
  • 年月日: 20060300
• [学会発表] CSP係数サブストラクションと最尤推定に基づくCSP法の高精度化に関する検討 (2005)
  • 著者名/発表者名: 傳田遊亀, 西浦敬信, 山下洋一
  • 学会等名: 日本音響学会2005年度秋期全国大会講演論文集
  • 発表場所: 仙台
  • 年月日: 20050900
• [産業財産権] 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ (2006)
  • 発明者名: 田村秀行, 大島登志一, 西浦敬信, 木村朝子, 柴田史久, 大槻麻衣
  • 権利者名: 学校法人立命館
  • 産業財産権番号: 特願, 2006-243952号
  • 出願年月日: 20061000