複数認識器の統合による音声及び画像の協調理解とマルチモーダル対話システムへの応用

• 研究課題/領域番号: 21500143
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 九州工業大学
• 研究代表者: 遠藤 勉 九州工業大学, 大学院・情報工学研究院, 教授 (10112294)
• 研究分担者: 嶋田 和孝 九州工業大学, 大学院情報工学研究院, 助教 (50346863)
• 研究期間 (年度): 2009 – 2011
• 研究課題ステータス: 完了 (2011年度)
• 配分額: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円); 2011年度: 650千円 (直接経費: 500千円、間接経費: 150千円); 2010年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2009年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
• キーワード: 自然言語処理 / マルチモーダルインタフェース / 音声理解 / ジェスチャ認識 / マルチモーダル / 文脈処理 / 複合認識器 / 人物識別 / 頭上画像 / マルチモーダルインターフェース / 情報統合 / 複数認識器

研究概要

マルチモーダル対話で人間の行う先ずマルチモダリティとして捉えるという処理の工学的実現を目指して,複数の認識器や特徴量を統合的に利用する各種の手法を提案し,言語と画像情報を用いた画像検索,複数認識器の統合による音声理解,バッチ型と逐次型の学習器を併用した手形状認識,言語及び非言語情報を利用した対話状況理解,多面的情報に基づく人物識別等を行うシステムの構築を通して,その有効性を確認した。

研究成果

• [雑誌論文] Recurrent Neural Network Classifier for Three Layer Conceptual Network and Performance (2010)
  • 著者名/発表者名: Md. Khalilur Lhaman and Tsutomu Endo
  • 雑誌名: JOURNAL OF COMPUTERS 巻: Vol.5, No.1 ページ: 40-48
  • 査読あり
• [雑誌論文] Recurrent Neural Network Classifier for Three Layer Conceptual Network and Performance (2010)
  • 著者名/発表者名: Md.Khalilur Rhaman, Tsutomu Endo
  • 雑誌名: JOURNAL OF COMPUTERS Vol.5 ページ: 40-48
  • 査読あり
• [学会発表] 複数人談話における言語情報と非言語情報を利用した盛り上がり判定 (2012)
  • 著者名/発表者名: 横山貴彦, 嶋田和孝, 遠藤勉
  • 学会等名: 言語処理学会第18回年次大会(NLP2012)
  • 発表場所: 広島市立大学
  • 年月日: 2012-03-14
• [学会発表] 複数人談話における言語情報と非言語情報を利用した盛り上がり判定 (2012)
  • 著者名/発表者名: 横山貴彦, 嶋田和孝, 遠藤勉
  • 学会等名: 言語処理学会第18回年次大会(NLP2012)
  • 発表場所: 広島県・広島市立大学
  • 年月日: 2012-03-14
• [学会発表] A Combined Method Based on SVM and Online Learning with HOG for Hand Shape Recognition (2011)
  • 著者名/発表者名: Kazutaka Shimada, Ryosuke Muto and Tsutomu Endo
  • 学会等名: The 2nd Interna-tional Workshop on Advanced Computa-tional Intelligence and Intelligent Informatics(IWACIII2011)
  • 発表場所: 蘇州大学(中国)
  • 年月日: 2011-11-21
• [学会発表] A Person Identification Method Using a Top-view Head Image from an Overhead Camera (2011)
  • 著者名/発表者名: Ryota Nakatani, Daichi Kouno, Kazutaka Shimada and Tsutomu Endo
  • 学会等名: The 2nd International Workshop on Advanced Computational Intelligence and Intel-ligent Informatics(IWACIII2011)
  • 発表場所: 蘇州大学(中国)
  • 年月日: 2011-11-21
• [学会発表] A Combined Method Based on SVM and Online Learning with HOG for Hand Shape Recognition (2011)
  • 著者名/発表者名: Kazutaka Shimada, Ryosuke Muto, Tsutomu Endo
  • 学会等名: 2nd International Workshop on Advanced Computational Intelligence and Intelligent Informatics (IWACIII2011)
  • 発表場所: 中国・蘇州
  • 年月日: 2011-11-21
• [学会発表] A Person Identification Method Using a Top-view Head Image from an Overhead Camera (2011)
  • 著者名/発表者名: Ryota Nakatani, Daichi Kouno, Kazutaka Shimada, Tsutomu Endo
  • 学会等名: 2nd International Workshop on Advanced Computational Intelligence and Intelligent Informatics (IWACIII2011)
  • 発表場所: 中国・蘇州
  • 年月日: 2011-11-21
• [学会発表] A person identification method using facial, clothing and time feature (2011)
  • 著者名/発表者名: Kazuaki Komatsu, Kazutaka Shimada and Tsutomu Endo
  • 学会等名: The 2nd International Workshop on Advanced Computational Intelligence and Intelligent Informatics(IWACIII2011)
  • 発表場所: 蘇州大学(中国)
  • 年月日: 2011-11-20
• [学会発表] A person identification method using facial, clothing and time feature (2011)
  • 著者名/発表者名: Kazuaki Komatsu, Kazutaka Shimada, Tsntomu Endo
  • 学会等名: 2nd International Workshop on Advanced Computational Intelligence and Intelligent Informatics (IWACIII2011)
  • 発表場所: 中国・蘇州
  • 年月日: 2011-11-20
• [学会発表] 深度情報を利用した頭上方向画像からの付属品情報の抽出 (2011)
  • 著者名/発表者名: 香野大地, 中谷良太, 嶋田和孝, 遠藤勉
  • 学会等名: 第19回電子情報通信学会九州支部学生会
  • 発表場所: 佐賀県・佐賀大学
  • 年月日: 2011-09-28
• [学会発表] 頭上方向から撮影されたカメラ画像を利用した人物識別 (2011)
  • 著者名/発表者名: 中谷良太, 香野大地, 嶋田和孝, 遠藤勉
  • 学会等名: 第14回画像の認識理解シンポジウムMIRU2011
  • 発表場所: 石川県・金沢文化ホール
  • 年月日: 2011-07-21
• [学会発表] コンテキスト情報を利用した人物識別の改良と機械学習の適用 (2011)
  • 著者名/発表者名: 小松和朗, 嶋田和孝, 遠藤勉
  • 学会等名: 第14回画像の認識理解シンポジウムMIRU2011
  • 発表場所: 石川県・金沢文化ホール
  • 年月日: 2011-07-21
• [学会発表] 衣服情報を利用した人物識別における輝度勾配特徴量の適用 (2010)
  • 著者名/発表者名: 小松和朗, 嶋田和孝, 遠藤勉
  • 学会等名: 第18回電子情報通信学会九州支部学生会,D-44,2010
  • 発表場所: 福岡・福岡工業大学
  • 年月日: 2010-09-24
• [学会発表] 頭上方向からのカメラ画像を用いた人物識別 (2010)
  • 著者名/発表者名: 中谷良太, 香野大地, 嶋田和孝, 遠藤勉
  • 学会等名: 第18回電子情報通信学会九州支部学生会,D-44,2010
  • 発表場所: 福岡・福岡工業大学
  • 年月日: 2010-09-24
• [学会発表] 頭上方向からのカメラ画像を用いた付属品抽出 (2010)
  • 著者名/発表者名: 香野大地, 中谷良太, 嶋田和孝, 遠藤勉
  • 学会等名: 第18回電子情報通信学会九州支部学生会,D-44,2010
  • 発表場所: 福岡・福岡工業大学
  • 年月日: 2010-09-24
• [学会発表] A Hierarchical Multiple Recognizer for Robust Speech Under-standing (2010)
  • 著者名/発表者名: Takahiko Yokoyama, Kazutaka Shimada and Tsutomu Endo
  • 学会等名: The Pacific Rim International Conference on Artificial Intelligence(PRICAI 2010)
  • 発表場所: ノボテルホテル大邱(韓国)
  • 年月日: 2010-08-31
• [学会発表] A Hierarchical Multiple Recognizer for Robust Speech Understanding (2010)
  • 著者名/発表者名: Takahiko Yokoyama, Kazutaka Shimada, Tsutomu Endo
  • 学会等名: Proceedings of The Pacific Rim International Conference on Artificial Intelligence(PRICAI)2010
  • 発表場所: 韓国・大邱
  • 年月日: 2010-08-31
• [学会発表] SVMと逐次学習を併用したHOG特徴による手形状認識手法 (2010)
  • 著者名/発表者名: 武藤亮介, 嶋田和孝, 遠藤勉
  • 学会等名: 電子情報通信学会, パターン認識・メディア理解研究会(PRMU)
  • 発表場所: 鹿児島大学
  • 年月日: 2010-03-16
• [学会発表] 階層化された複数の音声認識器を選択的に利用する音声理解手法 (2010)
  • 著者名/発表者名: 横山貴彦, 嶋田和孝, 遠藤勉
  • 学会等名: 情報処理学会創立50周年記念第72回全国大会
  • 発表場所: 東京大学
  • 年月日: 2010-03-10
• [学会発表] 複数の音声認識器とマーカを用いたマルチモーダルインターフェース (2010)
  • 著者名/発表者名: 武藤亮介, 嶋田和孝, 遠藤勉
  • 学会等名: 情報処理学会創立50周年記念第72回全国大会
  • 発表場所: 東京大学
  • 年月日: 2010-03-09
• [学会発表] Web image retrieval for abstract queries using text and image information (2009)
  • 著者名/発表者名: Kazutaka Shimada, Suguru Ishikawa and Tsutomu Endo
  • 学会等名: The Fifth Asia Information Retrieval Symposium(AIRS 2009)
  • 発表場所: 北海道大学
  • 年月日: 2009-10-22
• [学会発表] Web image retrieval for abstract queries using text and image information (2009)
  • 著者名/発表者名: Kazutaka Shimada, Suguru Ishikawa, Tsutomu Endo
  • 学会等名: Proceedings of The Fifth Asia Information Retrieval Symposium(AIRS 2009)
  • 発表場所: 北海道大学
  • 年月日: 2009-10-22
• [学会発表] 複数の認識器を選択的に利用する音声理解手法のマルチモーダルインタフェースへの適用 (2009)
  • 著者名/発表者名: 横山貴彦, 嶋田和孝, 遠藤勉
  • 学会等名: 第17回電子情報通信学会九州支部学生会
  • 発表場所: 九州工業大学
  • 年月日: 2009-09-29
• [学会発表] Effective construction and expansion of a sentiment corpus using an existing corpus and evaluative criteria estimation (2009)
  • 著者名/発表者名: Ryosuke Tadano, Kazutaka Shimada and Tsutomu Endo
  • 学会等名: The 11th Confer-ence of the Pacific Association for Computational Linguistics(PACLING2009)
  • 発表場所: 北海道大学
  • 年月日: 2009-09-03
• [学会発表] Effective construction and expansion of a sentiment corpus using anexisting corpus and evaluative criteria estimation (2009)
  • 著者名/発表者名: Ryosuke Tadano, Kazutaka Shimada, Tsutomu Endo
  • 学会等名: Proceedings of the 11th Conference of the Pacific Association for Computational Linguistics
  • 発表場所: 北海道大学
  • 年月日: 2009-09-03
• [備考]
  • URL: http://www.pluto.ai.kyutech.ac.jp/plt/endo-lab/index.html
• [備考]
  • URL: http://www.pluto.ai.kyutech.ac.jp/plt/endo-lab/index.html
• [備考]
  • URL: http://www.pluto.ai.kyutech.ac.jp/plt/endo-lab/index.html