• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

知的インターフェイスのためのマルチモーダル情報を用いたユーザの意図理解

研究課題

研究課題/領域番号 13680471
研究種目

基盤研究(C)

配分区分補助金
応募区分一般
研究分野 知能情報学
研究機関福岡大学

研究代表者

鶴田 直之  福岡大学, 工学部, 助教授 (60227478)

研究分担者 前田 佐嘉志  福岡大学, 工学部, 助手 (90330901)
森元 逞  福岡大学, 工学部, 教授 (10309891)
研究期間 (年度) 2001 – 2003
研究課題ステータス 完了 (2003年度)
配分額 *注記
1,700千円 (直接経費: 1,700千円)
2003年度: 800千円 (直接経費: 800千円)
2002年度: 900千円 (直接経費: 900千円)
キーワードユーザインターフェイス / マルチモーダル / 意図理解 / 対話システム / 画像認識 / リップリーディング / 音声言語理解 / ジェスチャー認識 / 顔検出 / 唇検出 / ジェスチャ認識 / 対話モデル
研究概要

本研究は、画像と音声、タッチパネルを併用したマルチモーダル情報を利用してユーザの意図を理解することにより、自然で頑健な対話型インターフェイスを実現したものである。
ユーザの意図理解は次の3つの段階からなる。(A)システムの周囲で行動する人物等の追尾。(B)システムに接近して来る人物の発見と利用意志の確認。(C)利用中に生ずる対話のためのユーザの意図理解。これまでは(A)および(B)、(C)が個別に研究されており、3つの段階の間を移行する状態を扱った研究はなく、自然なインターフェイスは実現されていない。
本研究では、(A)については他の研究の成果を流用するものとし、以下の3点について新たな方式を提案した。(1)(B)の段階で接近するユーザを検知した場合、システムから能動的な情報収集を行い、それに対するユーザの振舞を解析して自然な対話の開始を実現することにより、(B)から(C)への自然な移行を実現した。(2)(C)の段階において、リップリーディングの併用や対話における文脈情報を積極的な利用により発話認識の精度向上を目指し、自然な対話を可能にするための基礎技術を確立した。なお、ユーザとの対話の進行には、対話プランの動的生成モデルを利用した。(3)(B)および(C)の段階において、対話が安定に進まない場合の最終手段としてメニュー画面およびタッチパネルの併用を前提とした上で、可能な限り音声/画像対話を用いるというメディア選択のための制御方式を確立した。

報告書

(4件)
  • 2003 実績報告書   研究成果報告書概要
  • 2002 実績報告書
  • 2001 実績報告書
  • 研究成果

    (25件)

すべて その他

すべて 文献書誌 (25件)

  • [文献書誌] Tarek EL.Tobely: "The Competitive Algorithm of The Hypercolumn Neural Network Toward Real-time Image Recognition"Journal of Neural Network World. 1-03. 15-39 (2003)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] N.Tsuruta: "Self-organizing Feature Maps for HMM Based Lip-reading"Lecture noteo in computer science, Springer. 2774. 162-168 (2003)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] S.Takahashi: "Robust Speech Understanding Based on Expected Discourse Plan"Proc.of the EUROSPEECH. 1. 661-664 (2003)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] S.Takahashi: "Dialogue Experiment for Elderly People in Home Health Care System"Proc.of the TSD2003. 1. 418-423 (2003)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Tarek EL.Tobely: "A Randomized Model of Hypercolumn Neural Network for Gesture Recognition"Journal of Computers, Systems and Signals. 3-1. 14-28 (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Tarek EL. Tobely: "The Competitive Algorithm of The Hypercolumn Neural Network Toward Real-time Image Recognition"Journal of Neural Network World. 1-03. 15-39 (2003)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] N.Tsuruta: "Self organizing Feature Maps for HMM Based Lip -reading"Lecture notes in computer science, Springer. 2774. 162-168 (2003)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] S.Takahashi: "Robust Speech Understanding Based on Expected Discourse Plan"Proc.of the EUROSPEECH. 1. 661-664 (2003)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] S.Takahashi: "Dialogue Experiment for Elderly People in Home Health Care System"Proc.of the TSD2003. 1. 418-423 (2003)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Tarek EL. Tobely: "A Randomized Model of Hypercolumn Neural Network for Gesture Recognition"Journal of Computers, Systems and Signals. 3-1. 14-28 (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] N.Tsuruta: "Randomized Self-organizing Maps for Gesture Recognition"Journal of Jap an Society for Fuzzy Theory and Systems. 14-1. 82-87 (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] N.Tsuruta: "A Randomized Hypercolumn Model and Gesture Recognition"Lecture notes in computer science, (Springer(IWANN2001)). 2084. 235-242 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Tarek EL.Tobely, N.Tsuruta, M.Amamiya: "The Competitive Algorithm of The Hypercolumn Neural Network Toward Real-time Image Recognition"Journal of Neural Network World. 1-03. 15-39 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] N.Tsuruta, A.M.Sagheer, T.Iuchi, T.EL.Tobely: "Self-organizing Feature Maps for HMM Based Lip-reading"Lecture notes in computer science (Springer). 2774. 162-168 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] S.Takahashi, T.Morimoto, S.Maeda, N.Tsuruta: "Robust Speech Understanding Based on Expected Discourse Plan"Proc.of the EUROSPEECH. 1. 661-664 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] S.Takahashi, T.Morimoto, S.Maeda, N.Tsuruta: "Dialogue Experiment for Elderly People in Home Health Care System"Proc. of the TSD2003. 1. 418-423 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] Shin-ya Takahashi, Tsuyoshi Morimoto, Sakashi Maeda, Naoyuki Tsuruta: "Spoken Dialogue System for Home Health Care"Proc. Int. Conf. Spoken Language Processing. 4. 2709-2712 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] 鶴田, 重田, 前田, 高橋, 森: "在宅健康管理のための対話システム"ヒューマンインターフェイス学会研究報告集. 4-4. 25-39 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Naoyuki TSURUTA, Tarek EL.Tobely, Yuichiro YOSHIKI: "A Randmized Self-organizing Map for Gesture Recognition"Int. Journal of Japan Society for Fuzzy Theory and Systems. 14-1. 82-87 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Tarek EL.Tobely, Naoyuki TSURUTA, Makoto Amamiya: "A Lip Reading System for Japanese Language Based on the Hypercolumn Neural Network"Proc. of the Int. Conf. on Aritificial Intelligence and Applications. 198-203 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Tarek EL.Tobely, Naoyuki TSURUTA, Makoto Amamiya: "On-Line Speech-Reading System for Japanese Language"Proc. of the Int. Conf. of Information neural Processing. 1188-1193 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] 高橋, 森元, 鶴田, 前田: "音声対話による在宅健康管理支援システム"インタラクション2002論文集、IPSJ Symposium Series. 2002・7. 193-194 (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] T.Tsuruta, T.El.Tobely, Y.Yoshiki: "A Randomized Self-organizing Maps for Gesture Recognition"日本ファジィ学会誌. 14・1. 822-887 (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] S.Maeda, S.Takahashi, N.Tsuruta, T.Morimoto: "A Home Health Care System Composed of Diagnostic and Dynamic Dialogue System"Proc. of First International workshop on e-house and e-healthcare. Session2-Session2 (2001)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] N.Tsuruta, Y.Yoshiki, T.El.Tobely: "A Randomized Hypercolumn Model and Gesture Recognition"Connectionist Models of Neurons, Learning Processes, and Artificial Intelligence, Springer. LNCS 2084. 235-242 (2001)

    • 関連する報告書
      2001 実績報告書

URL: 

公開日: 2002-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi