• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

1999 年度 実績報告書

マルチモ-ダルコミュニケ-ションにおける音声とジェスチャの統合についての研究

研究課題

研究課題/領域番号 10480083
研究機関早稲田大学

研究代表者

白井 克彦  早稲田大学, 理工学部, 教授 (10063702)

研究分担者 山崎 芳男  早稲田大学, 理工学総合研究センター, 教授 (10257199)
橋本 周司  早稲田大学, 理工学部, 教授 (60063806)
小林 哲則  早稲田大学, 理工学部, 教授 (30162001)
大川 茂樹  千葉工業大学, 情報ネットワーク学科, 助教授 (40306395)
キーワード複合周波数帯域型音声認識 / 姿勢推定 / マルチモーダルコミュニケーション / 音声対話システム汎用プラットフォーム / 対話制御 / 音声対話システム / 対話コーパス
研究概要

本年度は、マルチモーダル対話データの分析結果に基づき、マルチモーダルコミュニケーションの統合理解モデルの基本となる音声およびジェスチャの認識アルゴリズムを検討した。また、マルチモーダルコミュニケーションモデルとして、タスクに依存しない汎用的なモデルを検討、構築した。
まず、音声認識アルゴリズムとして、狭い部分周波数帯域の音響特徴量を独立に計算した後それらを再統合する複合周波数帯域型音声認識の手法を検討し、特に部分周波数帯域より得られる特徴量の情報量を基準とした性能評価方法を検討した。提案した評価方法に基づき、最適な分割周波数を設定した上で音素認識実験を行った結果、全帯域システムに対して最大11.2%の認識誤り率現象を達成した。
また、ジェスチャ認識について、照明変化への対応、人物の胴体部の探索については逐次更新型の色の混合分布モデルを用いることで実現し、カメラ移動中での推定や静止動作の推定も可能な姿勢推定システムは、色の混合分布モデルおよび人物の形状モデルおよび姿勢データベースを用いることにより実現できることを確認した。
タスクに依存しないマルチモーダルコミュニケーションモデルとして、対話の多様性とシステム制御規則記述容易性のトレードオフを考慮した、規則の階層的表現手法を提案した。具体的に、論文探索タスクについて実際の対話データに対する規則の記述力を評価し、対話の特徴と規則の記述力との関係を調べた。また、こうした評価による規則修正へのフィードバックが有効であることを確認した。さらに、提案した手法により、音声やジェスチャの理解・生成を可能にする音声対話システム汎用プラットフォームを構築し、複数のタスクに対して動作確認をした。

  • 研究成果

    (6件)

すべて その他

すべて 文献書誌 (6件)

  • [文献書誌] Hideaki Kikuchi 他: "Controlling Dialogue Strategy According to Performance of Processes"Proc of ESCA Workshop. 85-88 (1999)

  • [文献書誌] Shigeki Okawa 他: "A Recombination Strategy for Multi-band Speech Recognition Based on Mutual Information Criterion"Proc. of EUROSPEECH'99. Vol.2. 603-606 (1999)

  • [文献書誌] 中島 雄大 他: "マルチバンド型音声認識のための部分帯域特徴量の情報量評価"電子情報通信学会技術報告. SP99-97. 25-30 (1999)

  • [文献書誌] 青山 一美 他: "音声対話システム汎用ブラットフォ-ムの検討"情報処理学会研究報告. SLP-30. 7-12 (2000)

  • [文献書誌] Yosuke Matsusaka 他: "Multi-person Conversation via Multi-modal Interface"Proc. of EUROSPEECH '99. Vol.4. 1723-1726 (1999)

  • [文献書誌] Shigeki Ohira: "Proposal and Evaluation of Significant Word Selection Method."Proc. of the First NTCIR Workshop on R-JTRTR. 109-116 (1999)

URL: 

公開日: 2001-10-23   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi