複数認識器の統合による音声及び画像の協調理解とマルチモーダル対話システムへの応用

2011 年度 研究成果報告書

• 研究課題/領域番号: 21500143
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 九州工業大学
• 研究代表者: 遠藤 勉 九州工業大学, 大学院・情報工学研究院, 教授 (10112294)
• 研究分担者: 嶋田 和孝 九州工業大学, 大学院情報工学研究院, 助教 (50346863)
• 研究期間 (年度): 2009 – 2011
• キーワード: 自然言語処理 / マルチモーダルインタフェース / 音声理解 / ジェスチャ認識

研究概要

マルチモーダル対話で人間の行う先ずマルチモダリティとして捉えるという処理の工学的実現を目指して,複数の認識器や特徴量を統合的に利用する各種の手法を提案し,言語と画像情報を用いた画像検索,複数認識器の統合による音声理解,バッチ型と逐次型の学習器を併用した手形状認識,言語及び非言語情報を利用した対話状況理解,多面的情報に基づく人物識別等を行うシステムの構築を通して,その有効性を確認した。

研究成果

• [雑誌論文] Recurrent Neural Network Classifier for Three Layer Conceptual Network and Performance (2010)
  • 著者名/発表者名: Md. Khalilur Lhaman and Tsutomu Endo
  • 雑誌名: JOURNAL OF COMPUTERS 巻: Vol.5, No.1 ページ: 40-48
  • 査読あり
• [学会発表] 複数人談話における言語情報と非言語情報を利用した盛り上がり判定 (2012)
  • 著者名/発表者名: 横山貴彦, 嶋田和孝, 遠藤勉
  • 学会等名: 言語処理学会第18回年次大会(NLP2012)
  • 発表場所: 広島市立大学
  • 年月日: 2012-03-14
• [学会発表] A Combined Method Based on SVM and Online Learning with HOG for Hand Shape Recognition (2011)
  • 著者名/発表者名: Kazutaka Shimada, Ryosuke Muto and Tsutomu Endo
  • 学会等名: The 2nd Interna-tional Workshop on Advanced Computa-tional Intelligence and Intelligent Informatics(IWACIII2011)
  • 発表場所: 蘇州大学(中国)
  • 年月日: 2011-11-21
• [学会発表] A Person Identification Method Using a Top-view Head Image from an Overhead Camera (2011)
  • 著者名/発表者名: Ryota Nakatani, Daichi Kouno, Kazutaka Shimada and Tsutomu Endo
  • 学会等名: The 2nd International Workshop on Advanced Computational Intelligence and Intel-ligent Informatics(IWACIII2011)
  • 発表場所: 蘇州大学(中国)
  • 年月日: 2011-11-21
• [学会発表] A person identification method using facial, clothing and time feature (2011)
  • 著者名/発表者名: Kazuaki Komatsu, Kazutaka Shimada and Tsutomu Endo
  • 学会等名: The 2nd International Workshop on Advanced Computational Intelligence and Intelligent Informatics(IWACIII2011)
  • 発表場所: 蘇州大学(中国)
  • 年月日: 2011-11-20
• [学会発表] A Hierarchical Multiple Recognizer for Robust Speech Under-standing (2010)
  • 著者名/発表者名: Takahiko Yokoyama, Kazutaka Shimada and Tsutomu Endo
  • 学会等名: The Pacific Rim International Conference on Artificial Intelligence(PRICAI 2010)
  • 発表場所: ノボテルホテル大邱(韓国)
  • 年月日: 2010-08-31
• [学会発表] Web image retrieval for abstract queries using text and image information (2009)
  • 著者名/発表者名: Kazutaka Shimada, Suguru Ishikawa and Tsutomu Endo
  • 学会等名: The Fifth Asia Information Retrieval Symposium(AIRS 2009)
  • 発表場所: 北海道大学
  • 年月日: 2009-10-22
• [学会発表] Effective construction and expansion of a sentiment corpus using an existing corpus and evaluative criteria estimation (2009)
  • 著者名/発表者名: Ryosuke Tadano, Kazutaka Shimada and Tsutomu Endo
  • 学会等名: The 11th Confer-ence of the Pacific Association for Computational Linguistics(PACLING2009)
  • 発表場所: 北海道大学
  • 年月日: 2009-09-03
• [備考]
  • URL: http://www.pluto.ai.kyutech.ac.jp/plt/endo-lab/index.html