1998 Fiscal Year Annual Research Report

マルチモーダルコミュニケーションにおける音声とジェスチャの統合についての研究

Research Project

Project/Area Number	10480083
Research Category	Grant-in-Aid for Scientific Research (B)
Research Institution	Waseda University
Principal Investigator	白井克彦早稲田大学, 理工学部, 教授 (10063702)
Co-Investigator(Kenkyū-buntansha)	大川茂樹千葉工業大学, 情報ネットワーク学科, 助教授 (40306395) 山崎芳男早稲田大学, 理工学総合研究センター, 教授 (10257199) 橋本周司早稲田大学, 理工学部, 教授 (60063806) 小林哲則早稲田大学, 理工学部, 教授 (30162001)
Keywords	マルチモーダル / 音声対話システム / 対話制御 / ジェスチャ認識 / 隠れマルコフモデル / 顔方向認識 / 複数話者 / 対話コーバス
Research Abstract	人間同士のマルチモーダルコミュニケーションの統合理解・生成モデルを明確にするために、マルチモーダルコミュニケーションシステムを試作、それを用いたマルチモーダル対話データベース作成の準備を行った。まず、マルチモーダルコミュニケーションの中心的な情報伝達手段である音声のみを入出力とする対話システムのプロトタイプを実装し、10人強の被験者により対話データ収集および評価を行った。対話データ収集時には、システムの対話制御を多様に変化させ、システムの応答戦略毎の対話データを収集した。また、収集時のシステム評価の他に数日後の対話聴取評価を行った。その結果、両方の評価結果には高い相関が見られ、システム構築にあたり対話の聴取評価が有効であることがわかった。その他、収集したマルチモーダル対話データベースの対話を対象に、人間同士の対話に頻出する「つなぎ語」や「割り込み」の音響的特徴分析を行った。その結果、両方の現象の検出にパワー値や0次ケプストラムが有効であることがわかった。また、ジェスチャ認識アルゴリズムの高精度化を目指し、確率過程モデルを精密に表現する部分隠れマルコフモデルを提案、ジェスチャ認識実験を行ったところ、従来手法より認識率が4.5%上昇することを確認した。その他、処理性能に応じた対話制御、顔方向認識と顔領域抽出、複数話者による対話音声認識などを目的としたアルゴリズムの基礎的検討およびそのためのデータ収集などを行った。

Research Products
(6 results)

All Other

All Publications (6 results)

[Publications] Hideaki Kikuchi Katsuhiko Shirai: "Controlling Gaze of Humanoid in Communication with Human" Proc.Of International conference on Intelligent Robots and Systems. Vol.1. 255-260 (1998)
[Publications] 横山真男:白井克彦: "人間型ロボットの対話インタフェースにおける発話交替時の非言語情報の制御" 情報処理学会論文誌. 2月号. (1999)
[Publications] Masao Yokoyama: Katsuhiko Shirai: "Use of Non-Verbal Information in Communication between Human and Robot" Proc.Of International conference on Spoken Language Procesing. 2351-2354 (1998)
[Publications] Hideaki Kikuchi : Katsuhiko Shirai: "Multimodal Communication Between Human and Robot" Proc.of International Wireless and Telecommunications Symposium. 322-325 (1998)
[Publications] 益満健:白井克彦: "部分隠れマルコフモデルとそのジェスチャー認識への応用" 電子情報通信学会技術研究報告. PRMU97-203. 35-62 (1998)
[Publications] 田窪行則:白井克彦: "岩波書店" 岩波講座言語の科学 2音声, 249 (1998)

1998 Fiscal Year Annual Research Report

マルチモーダルコミュニケーションにおける音声とジェスチャの統合についての研究

Principal Investigator

白井 克彦 早稲田大学, 理工学部, 教授 (10063702)

Research Products

[Publications] Hideaki Kikuchi Katsuhiko Shirai: "Controlling Gaze of Humanoid in Communication with Human" Proc.Of International conference on Intelligent Robots and Systems. Vol.1. 255-260 (1998)

[Publications] 横山 真男:白井克彦: "人間型ロボットの対話インタフェースにおける発話交替時の非言語情報の制御" 情報処理学会 論文誌. 2月号. (1999)

[Publications] Masao Yokoyama: Katsuhiko Shirai: "Use of Non-Verbal Information in Communication between Human and Robot" Proc.Of International conference on Spoken Language Procesing. 2351-2354 (1998)

[Publications] Hideaki Kikuchi : Katsuhiko Shirai: "Multimodal Communication Between Human and Robot" Proc.of International Wireless and Telecommunications Symposium. 322-325 (1998)

[Publications] 益満 健:白井克彦: "部分隠れマルコフモデルとそのジェスチャー認識への応用" 電子情報通信学会 技術研究報告. PRMU97-203. 35-62 (1998)

[Publications] 田窪 行則:白井 克彦: "岩波書店" 岩波講座 言語の科学 2音声, 249 (1998)

白井克彦早稲田大学, 理工学部, 教授 (10063702)

[Publications] 横山真男:白井克彦: "人間型ロボットの対話インタフェースにおける発話交替時の非言語情報の制御" 情報処理学会論文誌. 2月号. (1999)

[Publications] 益満健:白井克彦: "部分隠れマルコフモデルとそのジェスチャー認識への応用" 電子情報通信学会技術研究報告. PRMU97-203. 35-62 (1998)

[Publications] 田窪行則:白井克彦: "岩波書店" 岩波講座言語の科学 2音声, 249 (1998)