仮想環境における視覚,力覚,聴覚情報の統合・同期の実現とその応用に関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11480089
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 安部 憲広 九州工業大学, 情報工学部, 教授 (00029571)
• Co-Investigator(Kenkyū-buntansha): 田中 和明 九州工業大学, 情報工学部, 助手 (70253565) ; 瀧 寛和 和歌山大学, システム工学部, 教授 (10304180)
• Keywords: 同期認識 / 同期生成 / 仮想環境 / アバタの動作 / 逆運動学 / 音源イベント / 連続音の生成 / 視覚・聴覚・力覚の同期

Research Abstract

本年度は。下記の3つの研究目標と、昨年度未達成であった音源イベントの描画と仮想音生成をほぼ完成させた.
[1]音声入力と動作の処理:音声と動作の対応関係を調べながら.音声と行動様式の解釈を行った.音声解釈は,音声の文字化,形態素解析,意味解析から成る,この文字系列と磁気センサーデータ系列を参照して意味関係を調べた。指示代名詞や副詞に対応した動作から指定された事物や位置を推定した.入力文型と回答で使われる動詞の格構造に応じて,回答文型にデーターを代入して回答文を作成し,[2]により音声化を行った.
[2]音声化と動作の生成.回答文を文節に分け,動詞を調べて対象への操作の有無を調べた.単に対象を参照するだけなら.対象を指差しながら発話させる.対象の操作が必要な場合は,目標位置に物体を移動する動作系列を[3]により作成し,音声に対応した動作系列と音声を合成し,両者を同期させて出力した.描画と発話の両者の処理が終了すると,次の文節部分を送り出し,文節ごとに音声と動作の開始点を同期させることに成功した.
[3]Avatarの動作生成:avatarのモデルは既に製作済みであり,関節角度を入力すれば自由に動作させることはできる.しかし,アバタの関節角度を逐一指定するのは現実的ではない。そこで、対象物の指示や把持では,手先位置から腕の関節角度を逆運動学に基づき計算させた.一方,物体把持時の手形状は予めモーションキャプチャーで与えておいた典型的な把持方法から適切な形状を選択することによって動作系列を生成した.顔には,発声開始時の口形状をテキスチャーマッピングする予定であったが、これは未達成である.
前年度、未達成であった移動中の音源イベントによる連続音の生成は、描画部分をGLで記述し、GLを超高速評価するGLボードで描画を実行させることによって達成ができた.

Research Products

• [Publications] Ryouko Furusawa: "Presenting states and fuctions of objects under assembling operation with force display device"Journal of Robotics and Mechatronics. 12・1. 2-10 (2000)
• [Publications] Kazuhiro Annoura: "A method for Improving operationality of virtual tools"Journal of Robotics and Mechatronics. 12・1. 11-16 (2000)
• [Publications] 瀧寛和: "事例評価を活用した修理事例ベースシステム"電気学会C部門誌. Vol.120-C,No.12. 2046-2054 (2000)
• [Publications] Takao Horie: "Collaboration with Two Remote Robot Arms by Direct Instruction Using Stereo Vision and Haptic Master"6th international conference on virtual systems and multimedia (VSMM). 316-322 (2000)
• [Publications] Yasuhiro Watanabe: "Proposal of new method for generating surface model from slice images"VSMM 2000. 190-199 (2000)
• [Publications] Takao Horie: "Controlling Two Remote Robot Arms with Direct Instruction using Haptic Master and Vision System"The Tenth International Conference on Artificial Reality and Tele-existance (ICAT). 167-172 (2000)
• [Publications] Yasuhiro Watanabe: "Precise Surface Model Generation from Slice Images for Medicine and Areheology"The Tenth International Conference on Artificial Reality and Tele-existance (ICAT). 140-147 (2000)
• [Publications] T.Ozaki: "Verbal/non-verbal communication for Training system using VR Technolog"IMEKO/IFAC/IFIP Workshop on Advanced Robot Systems and Virtual Reality ISMCR'2000. 177-182 (2000)
• [Publications] Kazuaki Tanaka: "Communication with VR Training System using Voice and Behavior"The Tenth International Conference on Artificial Reality and Tele-existance (ICAT). 36-43 (2000)
• [Publications] Takao Horie: "Remote Force Control of Robot Using PHANTOM Haptic Model and Force Sensor"Proc.of ISATP/01. (2001)
• [Publications] Miwa Nakamura: "Interpretation of assembly procedure in instruction manual using simulation in virtual space"Proc.of ISATP/01. (2001)