人間親和型エージェントが演出する言語非言語双方向遠隔対話システム

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14380183
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 安部 憲広 九州工業大学, 情報工学部, 教授 (00029571)
• Co-Investigator(Kenkyū-buntansha): 田中 和明 九州工業大学, 情報工学部, 講師 (70253565) ; 瀧 寛和 和歌山大学, システム工学部, 教授 (10304180) ; 八木 哲也 大阪大学, 大学院・工学研究科, 教授 (50183976)
• Keywords: アバタ / 副詞対応動作の認識 / 再帰目標動作の実現 / 干渉検出 / Vortex / 音声割り込み処理 / 発話と行動の動機

Research Abstract

(1)副詞対応の手動作の処理(安部・田中):「これくらい」「もっと大きな」「もっとこっち」といった発話に伴った手の移動量を求め。左右の手の動きを調べ,両手の動作分析が必要か,どちらか一方の手の動きの分析で十分かを,発話された語句を参照することにより,ユーザーの意図している方向や数量の概算値を算出し,「30cm程度」「40cm以上」「もう少し右」と言った言葉に置換すると同時に,あいづち生成指令をだすことができた。
(2)再帰的な副目標達成を必要とする動作の生成(安部・瀧):アバタが操作対象を直接操作できないときは,それを妨害している要因を取り除くために,新たな行動生成が必要となる。必要な行動系列を線形化し,その中の各行動を生成した。他物体との干渉を要する行動生成には逆運動学を用いて,各動作の最初と最後に相当するアバタのキーフレームの関節角度を算出し,その動作を説明する文とキーフレームの対を発話・動作生成部に送る。衝突検出は未完であるが、導入したVortexの利用により可能となると考えている。
(3)ユーザーからの割り込みの処理(八木・安部):アバタが行動中に,ユーザーが例えば,「もっと大きいもの」,「もう少しこっち」といった割り込みをした場合,現在出力中のアバタの動作を中断して,どの操作に対する修正要求であるかを判断し,行動の変更を行う割り込み処理を実現した。
(4)発話と行動の同期(安部):与えられたキーフレームと発話が同期するように,アバタの行動速度と話速を調整して描画と発話を同期させることができた。アバタ同士が干渉を持つマルチエージェントシステムヘの拡張については未完のままである。

Research Products

• [Publications] Hirokazu Taki: "Ontology based Medical Information Service System"KES2003. 216-223 (2003)
• [Publications] Moez Bellamine: "Design of a Remote Diagnosis System of Rotating Machinery Using Virtual Reality and Fuzzy Pattern Matching"AIM2003 IEEE/ASME International Conference on Advanced Intelligent Mechatronics. 105-111 (2003)
• [Publications] Yi PAN: "The Virtual Debugging System for Embedded Software Development"SCI2003. 78-84 (2003)
• [Publications] Norihiro Abe: "Construction of Physics Simulation Environment for Education Using Vortex"Proc.SCI2003. 301-307 (2003)
• [Publications] Kazuaki Tanaka: "The optimal arrangement of remote cameras and controlling remote robot arm"7th World Multiconference on Systemic, Cybernetics and Informatics(SCI2003). 481-488 (2003)
• [Publications] Yasuhiro Watanabe: "Toward the automatic restoration of relics from slice images"ichm03. 203-210 (2003)
• [Publications] Yi Pan: "The Virtual Debugging System for Embedded Software Development"VRAI2003. 175-182 (2003)
• [Publications] Koichi Nishimura: "Bidirectional Communication between Man and Avatar Using Voice And Pointing Action"SCI. (採択). (2004)
• [Publications] Daisuke Tokumoti: "Cutting of the Voxel Model Using a Haptic Feeedback Device"SCI. (採択). (2004)
• [Publications] 堀江貴雄: "能動動作による反力提示モデルの生成と遠隔操作環境"ヒューマンインターフェイス. (印刷中). (2004)