仮想環境における視覚,力覚,聴覚情報の統合・同期の実現とその応用に関する研究

2001 年度 実績報告書

• 研究課題/領域番号: 11480089
• 研究機関: 九州工業大学
• 研究代表者: 安部 憲広 九州工業大学, 情報工学部, 教授 (00029571)
• 研究分担者: 田中 和明 九州工業大学, 情報工学部, 助手 (70253565) ; 滝 寛和 和歌山大学, システム工学部, 教授 (10304180)
• キーワード: 力覚 / 聴覚 / 同期生成 / 八分木 / 打楽器 / アバタの発話と行動の生成 / 発話と動作の認識

研究概要

本年は、当該科研の最終年度であり、研究目標である(1)視聴覚、力覚同期の仮想空間の創成、(2)仮想空間で行動するディジタルヒューマン(アバタ)による行動と発話の同期、人とアバタとの言語・非言語対話システムの完成を目指した。
(1)に関しては、高速に移動する仮想物体と静的仮想物体との実時間衝突検出を行うために、仮想物体の8分木表現を用いた衝突部検出を実装し、衝突音の生成と衝突時の反力を力覚フィードバック装置PHANToMに出力するシステムを作成した。具体的な例題として、ドラムやシンバルをスティックで打った際の3次元仮想環境の描画と音の発生、力覚の同期システムを試作し、10名の被験者を対象として、3感覚の同期の良否について検証を行った。その結果、撥の打点とPHANToMの反力生成部位のずれによる違和感はあるものの、視聴覚・力覚の同期の実現が確認された。
(2)人間同士の対話では1相手の発話や身ぶりに対するあいづちによる同意・理解の表出と、相手からの発話割り込みに即応した発話や行動変更が、相互の対話促進に不可欠なことが分かっている。このことを考慮して、人の発話と行動の同期認識、アバタによる発話と動作の同期生成、発話や行動中の割り込みに対する即応処理機構を実現した。具体的な例を示すと、磁気センサーとデーターグローブを装着した人がアバタに向かって、対象を指差して「これとこれをここに置いて欲しい」と言うと、肯きながら指差しの対象をアバタに見させた後、指定された対象を操作させることが可能となった。もし操作の途中で相手から「もう少しこっち」という割り込みがなされると、対象の置き場所を適宜変更させることも可能であり、初期の目標を達成した。
本研究では、基本的には形状が不変で、関節等の特定部位での変形のみが許される仮想物体を対象としており、変形する物体や動的な対象同士の衝突検出は取り扱っていない。これらに対処するためには、8分木モデルの動的な変更が不可欠であり、PCクラスターと共有メモリシステムを利用した超高速計算システムを組み込むことにより解決を目指したいと考えている。

研究成果

• [文献書誌] Yasuhiro Watanabe: "Surface model generation by the relics from slice images, and the approach to the automatic restoration"ICHIMOI. 201-214 (2001)
• [文献書誌] T.Horie: "Generation of Haptic Model and Remote Control of Robot using Force Sensar and PHANTOM"7th International Conference on Virtual Systems and Multi Media(VSMM2001). 747-756 (2001)
• [文献書誌] Yasuhiro Watanabe: "Surface model generation and feature extraction for the automatic restoration of relics"7th International Conference on Virtual Systems and Multi Media(VSMM2001). 318-327 (2001)
• [文献書誌] Kensuke UEHARA: "The Construction of Virtual Archaeological Museum"7th International Conference on Virtual Systems and Multi Media(VSMM2001). 289-298 (2001)
• [文献書誌] Munehisa KUSANO: "Synchronized Processing of Tele-manipulation system"7th International Conference on Virtual Systems and Multi Media(VSMM2001). 471-478 (2001)
• [文献書誌] Kazuaki Tanaka: "Autonomous Map Acquisition by Integrating Local Maps"Proceeding of the 4th IFAC Symposium on Intelligent Autonomous Vehides. 326-331 (2001)
• [文献書誌] Kazuaki Tanaka: "The map acquisition of the uncertain environment by the mobile robot"Proceedings of the 1st International Conference on Information Technology in Mechatronics. 155-160 (2001)
• [文献書誌] Munehisa KUSANO: "Approach of Synchronized Processing with Tele-manipulation System"Proceedings of the 1st International Conference on Information Technology in Mechatronics. 88-93 (2001)
• [文献書誌] Moez Bellamin: "A Remote Maintenance System with Virtual Reality"Proc. ICAT 2001. 169-174 (2001)
• [文献書誌] Kazuaki Tanaka: "Verbal/Norverbal Communication between Man and Avatar in Virtual Mechanical Assembly Training System"Proc. VARI 2002. (2002)
• [文献書誌] Moez Bellamin: "An Internet Based Remote Maintenance System with the use of Virtual Reality"Proc. VARI 2002. (2002)
• [文献書誌] 田中和明: "サイバースペースを利用する病院搬送システムの設計変更支援システム"バーチャルリアリティ学会論文誌. (2002)
• [文献書誌] Masaharu Kaida: "Training System for Crisis Avoidance Using Virtual Auditory Environment"Proc. SCI 2002. (2002)
• [文献書誌] Kazuaki Tanaka: "Verbal/Nonverbal Communication in Virtual Mechanical Assembly Training System"Proc. ICMA 2002. (2002)
• [文献書誌] Masaharu Kaida: "Training System for Crisis Avoidance Using Virtual Auditory Environment"Proc. ICMA 2002. (2002)
• [文献書誌] Takao Horie: "Remote Control of Robot Using Haptic Model and Haptic Device"Pan-Yellow-Sea International Workshop on Information Technologies for Network Era(PYIWIT'02). 265-272 (2002)