人間親和型エージェントが演出する言語非言語双方向遠隔対話システム

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14380183
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 安部 憲広 九州工業大学, 情報工学部, 教授 (00029571)
• Co-Investigator(Kenkyū-buntansha): 田中 和明 九州工業大学, 情報工学部, 講師 (70253565) ; 瀧 寛和 和歌山大学, システム工学部, 教授 (10304180) ; 八木 哲也 大阪大学, 大学院・工学研究科, 教授 (50183976)
• Keywords: アバタ / 手の形状解析 / 発話の解析 / 発話と動作の同期 / スクラムネット / 網膜チップカメラ / 相槌動作と音声の同期合成

Research Abstract

本年度は,以下の各項目について実装を行った。
(1)言語非言語動作の認鐵とあいづちの生成:アパタに相槌を打たせるためには,音声単語が入力された時間や,「あれ」「あの」などの指示語が入力された時間検出と並行して,入力音声文の解析を行わねばならない。京都大学で開発されたジュリアスを用いて,これらの時間計測とHHMによる連続音声解析を行わせた。実際の発話時間と計測された発話時間には30ミリ秒程度の差異があったが、計測値が算出されると同時に,スクラムネットを介してアパタ描画部に頷き動作生成を行わせた。さらに,アバタの頷き動作時に「はい」と音声でも相槌を打たせた,
(2)ステレオ網膜チップの作成とユーザーの行動の実時閥認識:同じ画像を網膜チップカメラとCCDカメラに入力させながら,4期のカメラの同期を取る機構を開発した.網膜カメラの差分画像が消失した際にキャプチャーした画像をHSV変換して検出された手形状が指差し動作をしているかを分析後,人差し指の先端と根元を検出することによって,左右百像上での対応を求めっ指差し方向の検出を行った。
(3)言語芹言語動作の照合システムの作成:指差し動作解析と指示語がほぽ同時に検出された場合、人が指示動作を行ったと解釈できる。しかし現在、言語処理システムはスクラムネットに組み込まれていないため,正確な照合は未完であるが,短時間に指示動作が連続しない限り照合可能と思われる。.
(4)言語解析システムの作成:言語解析に時間がかかるため,発話の終了後直ちにアパタに適切な応答をさせることは困難である。そこで,この間にアバタに適当な受け答えをさせることによって,利用者に遅延を感じさせない工夫を加えた。

Research Products

• [Publications] 田中和明: "サイバースペースを利用する病院搬送システムの設計変更支援システム"バーチャルリアリティ学会論文誌. 7・1. 95-102 (2002)
• [Publications] 渡辺恭弘: "X線CTスキャンを用いた異物のサーフェスモデル生成、および、自動復元へのアプローチ"日本情報考古学会誌. 1-11 (2002)
• [Publications] Takao Horie: "Remote Control of Robot Using Haptic Model and Haptic Device"Pan-Yellow-Sea International Workshop on Information Technologies for Network Era (PYIWIT'02). 265-272 (2002)
• [Publications] Kazuaki Tanaka: "Verbal/Nonverbal communication between Man and Avatar in Virtual Mechanical Assembly Training System"Proc. VARI. 202-207 (2002)
• [Publications] Moez Bellamin: "An Internet Based Remote Maintenance System with the use of Virtual Reality"Proc. of VARI. 416-423 (2002)
• [Publications] Kazuaki Tanaka: "Training System for Crisis Avoidance using Virtual Auditory Environment"Proc. SCI2002.
• [Publications] Kazuaki Tanaka: "Verbal/Nonverbal communication in Virtual Mechanical Assembly Training system"Proc. ICMA. 213-223 (2002)
• [Publications] Kazuaki Tanaka: "Training System for Crisis Avoidance using Virtual Auditory Environment"Proc. ICMA. 623-629 (2002)
• [Publications] Kazuaki Tanaka: "Synchronization of visual, haptic and auditory sense using a haptic display and a virtual sound source device"VSMM. 673-680 (2002)
• [Publications] Yi Pan: "The virtual debugging system for embedded software development"ICAT2002. 119-124 (2002)
• [Publications] Hirokazu Taki: "Ontology based Medical Information Service System"KES2003. (掲載予定).
• [Publications] 安部憲広: "マルチモーダルインターフェイスの研究開発とその応用事例"ヒューマンインターフェイス学会誌. 4・1. 35-40 (2002)