仮想環境における視覚,力覚,聴覚情報の統合・同期の実現とその応用に関する研究

2001 Fiscal Year Annual Research Report

• Project/Area Number: 11480089
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 安部 憲広 九州工業大学, 情報工学部, 教授 (00029571)
• Co-Investigator(Kenkyū-buntansha): 田中 和明 九州工業大学, 情報工学部, 助手 (70253565) ; 滝 寛和 和歌山大学, システム工学部, 教授 (10304180)
• Keywords: 力覚 / 聴覚 / 同期生成 / 八分木 / 打楽器 / アバタの発話と行動の生成 / 発話と動作の認識

Research Abstract

本年は、当該科研の最終年度であり、研究目標である(1)視聴覚、力覚同期の仮想空間の創成、(2)仮想空間で行動するディジタルヒューマン(アバタ)による行動と発話の同期、人とアバタとの言語・非言語対話システムの完成を目指した。
(1)に関しては、高速に移動する仮想物体と静的仮想物体との実時間衝突検出を行うために、仮想物体の8分木表現を用いた衝突部検出を実装し、衝突音の生成と衝突時の反力を力覚フィードバック装置PHANToMに出力するシステムを作成した。具体的な例題として、ドラムやシンバルをスティックで打った際の3次元仮想環境の描画と音の発生、力覚の同期システムを試作し、10名の被験者を対象として、3感覚の同期の良否について検証を行った。その結果、撥の打点とPHANToMの反力生成部位のずれによる違和感はあるものの、視聴覚・力覚の同期の実現が確認された。
(2)人間同士の対話では1相手の発話や身ぶりに対するあいづちによる同意・理解の表出と、相手からの発話割り込みに即応した発話や行動変更が、相互の対話促進に不可欠なことが分かっている。このことを考慮して、人の発話と行動の同期認識、アバタによる発話と動作の同期生成、発話や行動中の割り込みに対する即応処理機構を実現した。具体的な例を示すと、磁気センサーとデーターグローブを装着した人がアバタに向かって、対象を指差して「これとこれをここに置いて欲しい」と言うと、肯きながら指差しの対象をアバタに見させた後、指定された対象を操作させることが可能となった。もし操作の途中で相手から「もう少しこっち」という割り込みがなされると、対象の置き場所を適宜変更させることも可能であり、初期の目標を達成した。
本研究では、基本的には形状が不変で、関節等の特定部位での変形のみが許される仮想物体を対象としており、変形する物体や動的な対象同士の衝突検出は取り扱っていない。これらに対処するためには、8分木モデルの動的な変更が不可欠であり、PCクラスターと共有メモリシステムを利用した超高速計算システムを組み込むことにより解決を目指したいと考えている。

Research Products

• [Publications] Yasuhiro Watanabe: "Surface model generation by the relics from slice images, and the approach to the automatic restoration"ICHIMOI. 201-214 (2001)
• [Publications] T.Horie: "Generation of Haptic Model and Remote Control of Robot using Force Sensar and PHANTOM"7th International Conference on Virtual Systems and Multi Media(VSMM2001). 747-756 (2001)
• [Publications] Yasuhiro Watanabe: "Surface model generation and feature extraction for the automatic restoration of relics"7th International Conference on Virtual Systems and Multi Media(VSMM2001). 318-327 (2001)
• [Publications] Kensuke UEHARA: "The Construction of Virtual Archaeological Museum"7th International Conference on Virtual Systems and Multi Media(VSMM2001). 289-298 (2001)
• [Publications] Munehisa KUSANO: "Synchronized Processing of Tele-manipulation system"7th International Conference on Virtual Systems and Multi Media(VSMM2001). 471-478 (2001)
• [Publications] Kazuaki Tanaka: "Autonomous Map Acquisition by Integrating Local Maps"Proceeding of the 4th IFAC Symposium on Intelligent Autonomous Vehides. 326-331 (2001)
• [Publications] Kazuaki Tanaka: "The map acquisition of the uncertain environment by the mobile robot"Proceedings of the 1st International Conference on Information Technology in Mechatronics. 155-160 (2001)
• [Publications] Munehisa KUSANO: "Approach of Synchronized Processing with Tele-manipulation System"Proceedings of the 1st International Conference on Information Technology in Mechatronics. 88-93 (2001)
• [Publications] Moez Bellamin: "A Remote Maintenance System with Virtual Reality"Proc. ICAT 2001. 169-174 (2001)
• [Publications] Kazuaki Tanaka: "Verbal/Norverbal Communication between Man and Avatar in Virtual Mechanical Assembly Training System"Proc. VARI 2002. (2002)
• [Publications] Moez Bellamin: "An Internet Based Remote Maintenance System with the use of Virtual Reality"Proc. VARI 2002. (2002)
• [Publications] 田中和明: "サイバースペースを利用する病院搬送システムの設計変更支援システム"バーチャルリアリティ学会論文誌. (2002)
• [Publications] Masaharu Kaida: "Training System for Crisis Avoidance Using Virtual Auditory Environment"Proc. SCI 2002. (2002)
• [Publications] Kazuaki Tanaka: "Verbal/Nonverbal Communication in Virtual Mechanical Assembly Training System"Proc. ICMA 2002. (2002)
• [Publications] Masaharu Kaida: "Training System for Crisis Avoidance Using Virtual Auditory Environment"Proc. ICMA 2002. (2002)
• [Publications] Takao Horie: "Remote Control of Robot Using Haptic Model and Haptic Device"Pan-Yellow-Sea International Workshop on Information Technologies for Network Era(PYIWIT'02). 265-272 (2002)