• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2011 Fiscal Year Research-status Report

複数人ユーザ対応の会話エージェント対話管理機構の研究

Research Project

Project/Area Number 23700183
Research InstitutionRitsumeikan University

Principal Investigator

黄 宏軒  立命館大学, 情報理工学部, 助教 (00572950)

Project Period (FY) 2011-04-28 – 2014-03-31
Keywords人工知能 / ユーザインターフェース / 音声対話システム
Research Abstract

今年度はH22年度に始まった成蹊大学中野准教授との共同研究の引き続きとして,コーパス収集実験に基づいて構築している受話者推定モデルをオンラインシステムとして構築した.当コーパスは人間同士の会話ではなく,人間が操作するエージェントと複数人ユーザとの会話WOZ実験を行い,収集した物であった.実験のタスクは,典型的な会話エージェントのアプリケーションである情報提供サービスとし,複数人のユーザがエージェントから情報を提供してもらいながら,グループ内での議論を経て,単位履修と旅行先の意思決定を行う形をとった. エージェントの役割(操作役の実験参加者)は,単にユーザの情報リクエストに答えるだけではなく,ユーザの議論に積極的に介入し,新しい情報を提供したり議論のまとまりを促進したりする.ユーザ役の実験参加者には顔認識ソフトを用いて,マイクロホンも付けてもらい,頭部運動と音声を映像データと共にコーパスとして収録した. コーパスデータで集めた被験者の非言語行動パターン(視線方向の近似として頭部の動きとパワー,基本周波数と話速の音声特徴量を用いる)を機械学習で分類可能な形にして受話者推定モデルを構築した.次に,このモデルを取り入れてリアルタイムで受話者推定可能な会話エージェントシステム用のコンポーネントを開発した. 更に,8月に立命館大学でコーパス収集実験と同条件で20名10ペアのリアルタイム推定コンポーネントの精度評価実験を行った.機械学習の教師信号に用いたコーパスデータと同等の80%前後の推定精度を得ている.その成果を国内会議(HAIシンポジウム2011)と国際会議(IVA2011,ICMI2011)で発表している.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究協力者と想定していた学生の人数を確保できず,実装などの作業を大半代表者自身で行なっているためやや遅れている.H24年度は本プロジェクトに関わる学生を確保できたので,人員不足の問題を解決できると思われる.

Strategy for Future Research Activity

予定していた受話者推定エラーの検出と会話修復手法の開発をまず取り組んでいきたいと考えている.現在,受話者推定で誤りが多く起きている入力状況の分析を進めている.その次に,実験段階で操作者に適切でない発話行動を意図的に起こさせ,ユーザの困惑,会話の齟齬,確認発話の場面を観察・分析する.その場面と偶然に起きたエラーと合わせて,ユーザの反応行動の対応関係を分析する.情況に応じて会話修復行動をデザインし,適切かどうかを検証する被験者実験も行う.この結果を用いて完全に動作する自律システムの完成を目指す.さらに,より複雑な多人数会話を実現するために,視線情報を用いて話者交代の仕組みを実現する研究に着手する予定である.

Expenditure Plans for the Next FY Research Funding

購入する予定のモーションキャプチャーシステムは本研究の初年度交付金額では購入に至らず,別の経費で調達できたので,その分の予算は浮きました.H24年度はH23年度から繰り越された約102万円の経費とH24年度予算の80万円を合わせて182万円になる.その使途として,以下のように予定している.研究成果発表のための旅費:国際会議IVA2012(アメリカ,1人x35万円), ICMI2012(アメリカ,2人x35万円),国内開催国際会議ICCI*CC 2012(1人*10万円),APCHI2012(1人x15万円).国内会議:人工知能全国大会(1人x10万円),ジョイントエージェントワークショップ(1人x10万円).システム動作用のデスクトップPC(10万円x2台),ソフトウェア(12万円)に充てる予定である.

  • Research Products

    (3 results)

All 2011

All Presentation (3 results)

  • [Presentation] Predicting the Addressee in Multiparty Human-Agent Conversations based on Multimodal Nonverbal Information2011

    • Author(s)
      Naoya Baba, Hung-Hsuan Huang, and Yukiko Nakano
    • Organizer
      the 11th International Conference on Intelligent Virtual Agents (IVA'11)
    • Place of Presentation
      Reykjavik, Iceland
    • Year and Date
      Sep. 16, 2011
  • [Presentation] Making Virtual Conversational Agent Aware of the Addressee of Users' Utterances in Multi-user Conversation from Nonverbal Information2011

    • Author(s)
      Hung-Hsuan Huang, Naoya Baba, Yukiko Nakano
    • Organizer
      13th International Conference on Multimodal Interaction (ICMI'11)
    • Place of Presentation
      Alicante, Spain
    • Year and Date
      Nov. 16, 2011
  • [Presentation] グループ会話対応型会話エージェントにおける受話者推定システム2011

    • Author(s)
      馬場直哉,黄 宏軒,中野有紀子
    • Organizer
      HAIシンポジウム2011
    • Place of Presentation
      京都工芸繊維大学(京都府)
    • Year and Date
      2011年12月3日

URL: 

Published: 2013-07-10  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi