• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

多種非言語行動に基づく会話のレベル推定と会話修復方略の決定

公募研究

研究領域情報爆発時代に向けた新しいIT基盤技術の研究
研究課題/領域番号 21013042
研究種目

特定領域研究

配分区分補助金
審査区分 理工系
研究機関成蹊大学

研究代表者

中野 有紀子  成蹊大学, 理工学部, 准教授 (40422505)

研究期間 (年度) 2009 – 2010
研究課題ステータス 完了 (2010年度)
配分額 *注記
5,400千円 (直接経費: 5,400千円)
2010年度: 2,700千円 (直接経費: 2,700千円)
2009年度: 2,700千円 (直接経費: 2,700千円)
キーワードエージェント / 非言語情報 / HCI
研究概要

本研究は,視線や頭部動作など複数の非言語情報を統合して,多人数での会話の様子を推定する方式を提案することを目的としている.
(1)多人数会話における優位性と非言語行動の関連性の分析
前年度収集した会話エージェントと3人の被験者とのWizard-of-Ozによる対話コーパスに対して,ビデオと音声のデータを用いて,発話区間,発話者,発話の受け手のラベル付けを行った.また,モーションキャプチャからの頭部の位置と回転角度の情報を取得し,決定木学習によって各被験者が誰を注視しているかの推定をおこなった.その結果,90%程度の分類精度が得られたため,残りのコーパスについては,注視対象(誰が誰を見ているか)を自動でラベリングした.次に,ユーザ間のインタラクションの様子から,中心的な会話参加者(会話における優位性順位)の推定をおこなうために,自動アノテーションされた注視行動を分析した結果,ターンの譲渡や相互注視が会話の参与役割や優位性順位に大きく関わっていることが分かった.
(2)複数人ユーザ対応型会話エージェントにおける受話者推定機構の開発
ユーザとのグループ会話が可能な会話エージェントを実現するには,多人数で会話が交わされる中,会話エージェントがいつ応答すべきかを適切に決定する必要がある.そのためには,ユーザの発話が誰に向けられているのかを判断することが不可欠である.そこで,韻律情報として,ピッチ(FO),パワー,話速に着目し,これらと顔向きの情報を組み合わせることにより,発話がエージェントに向けられているのか,あるいは他のユーザに向けられているのかを判別する方式を確立した,その結果,F-measureは,受話者がエージェントの場合は0.807,ユーザの場合は0.752であり,全体の分類精度は78.3%となり,システム実装に向けて十分な精度が得られた.

報告書

(2件)
  • 2010 実績報告書
  • 2009 実績報告書
  • 研究成果

    (21件)

すべて 2011 2010 2009

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (20件)

  • [雑誌論文] 行動計測技術を利用したHAIの設計,実装,評価2009

    • 著者名/発表者名
      中野有紀子
    • 雑誌名

      人工知能学会誌 Vol.24 no.6

      ページ: 848-855

    • 関連する報告書
      2009 実績報告書
    • 査読あり
  • [学会発表] グループ会話対応型会話エージェントにおける非言語情報による受話者決定方式2011

    • 著者名/発表者名
      馬場直哉, 黄宏軒, 中野有紀子
    • 学会等名
      第73回情報処理学会全国大会
    • 発表場所
      東京工業大学
    • 年月日
      2011-03-03
    • 関連する報告書
      2010 実績報告書
  • [学会発表] ユーザの頭部動作に基づく会話参加態度の推定2011

    • 著者名/発表者名
      大古亮太, 中野有紀子
    • 学会等名
      第73回情報処理学会全国大会
    • 発表場所
      東京工業大学
    • 年月日
      2011-03-03
    • 関連する報告書
      2010 実績報告書
  • [学会発表] メタバースアバタへのジェスチャ自動付与に向けたマルチモーダルインタラクションの収集と分析2011

    • 著者名/発表者名
      塚本剛生, 室谷優実, 岡本雅史, 中野有紀子
    • 学会等名
      第73回情報処理学会全国大会
    • 発表場所
      東京工業大学
    • 年月日
      2011-03-03
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 会話エージェントを利用した認知症患者のためのコミュニケーション支援2011

    • 著者名/発表者名
      比企野純太, 中野有紀子, 安田清
    • 学会等名
      第73回情報処理学会全国大会
    • 発表場所
      東京工業大学
    • 年月日
      2011-03-03
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 注視・相互注視に基づく会話参加者優位性順位の推定に向けた多人数インタラクションの分析2011

    • 著者名/発表者名
      福原佑貴, 中野有紀子
    • 学会等名
      第73回情報処理学会全国大会
    • 発表場所
      東京工業大学
    • 年月日
      2011-03-02
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Gaze and Conversation Domination in Multiparty Interaction2011

    • 著者名/発表者名
      Yuki Fukuhara, Yukiko Nakano
    • 学会等名
      2011 International Conference on Intelligent User Interfaces (IUI2011), Workshop on Eye Gaze in Intelligent Human Machine Interaction
    • 発表場所
      Palo Alto, California
    • 年月日
      2011-02-13
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Combining Multiple Types of Eye-gaze Information to Predict User's Conversational Engagement2011

    • 著者名/発表者名
      Ryo Ishii, Yhta Shinohara, Yukiko Nakano, Toyoaki Nishida
    • 学会等名
      2011 International Conference on Intelligent User Interfaces (IUI2011), Workshop on Eye Gaze in Intelligent Human Machine Interaction
    • 発表場所
      Palo Alto, California
    • 年月日
      2011-02-13
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 道案内対話におけるマルチモーダルインタラクションの収集と分析-メタバースアバタのためのジェスチャ自動決定にむけて-2010

    • 著者名/発表者名
      塚本剛生, 室谷優実, 岡本雅史, 中野有紀子
    • 学会等名
      HAIシンポジウム2009
    • 発表場所
      慶応大学
    • 年月日
      2010-12-12
    • 関連する報告書
      2010 実績報告書
  • [学会発表] T.: An Empirical Study of Multiparty Conversations with a Virtual Agent in Wizard-of-Oz Setting2010

    • 著者名/発表者名
      Huang, H.H., Takeda, S., Fukuhara, Y., Baba, N., Sbibasaki, Y., Nakano, Y., Nishida
    • 学会等名
      the 10th International Conference on Intelligent Virtual Agents (IVA'10)
    • 発表場所
      Philadelpha, USA
    • 年月日
      2010-09-20
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 会話エージェントによる多人数会話の実現を日指して-複数人ユーザの動作データの収集と分析-2010

    • 著者名/発表者名
      中野有紀子
    • 学会等名
      第24回人工知能学会全国大会
    • 発表場所
      長崎ブリックホール
    • 年月日
      2010-06-10
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 複数人ユーザの協力的意思決定会話を支援する情報提供エージェント2010

    • 著者名/発表者名
      黄宏軒, 武田信也, 小野正貴, 中野有紀子
    • 学会等名
      第24回人工知能学会全国大会
    • 発表場所
      長崎ブリックホール
    • 年月日
      2010-06-09
    • 関連する報告書
      2010 実績報告書
  • [学会発表] T.: How Multiple Current Users React to a Quiz Agent Attentive to the Dynamics of Their Participation2010

    • 著者名/発表者名
      Huang, H.H., Furukawa, T., Ohashi, H., Cerekovic, A., Pandzic, I., Nakano, Y., Nishida
    • 学会等名
      9th International Conference on Autonomous Agents and Multiagent Systems (AAMAS'10)
    • 発表場所
      Toronto, Canada
    • 年月日
      2010-05-14
    • 関連する報告書
      2010 実績報告書
  • [学会発表] T.: Toward a Proactive Information Providing Agent in Multi-user Collaborative Decision-making Conversation2010

    • 著者名/発表者名
      Huang, H.H., Takeda, S., Ono, M., Nakano, Y., Pandzic, I., Nishida
    • 学会等名
      International Workshop on Interacting with ECAs as Virtual Characters, 9th International Conference on Autonomous Agents and Multiagent Systzms (AAMAS'10)
    • 発表場所
      Toronto, Canada
    • 年月日
      2010-05-10
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Estimating User's Engagement from Eye-gaze Behaviors in Human Agent Conversations2010

    • 著者名/発表者名
      Nakano, Y.I., Ishu, R.
    • 学会等名
      International Conference on Intelligent User Interfaces (IUI2010)
    • 発表場所
      Hong Kong
    • 年月日
      2010-02-09
    • 関連する報告書
      2009 実績報告書
  • [学会発表] An Empirical Study of Eye-gaze Behaviors : Towards the Estimation of Conversational Engagement in Human-Agent Communication2010

    • 著者名/発表者名
      Ishii, R., Nakano, Y.I.
    • 学会等名
      International Conference on Intelligent User Interfaces (IUI2010), Workshop on Eye Gaze in Intelligent Human Machine Interaction
    • 発表場所
      HongKong
    • 年月日
      2010-02-07
    • 関連する報告書
      2009 実績報告書
  • [学会発表] 日本語文章へのジェスチャー自動付与による仮想世界アバターの実現2010

    • 著者名/発表者名
      塚本剛生, 中野有紀子
    • 学会等名
      第72回情報処理学会全国大会
    • 発表場所
      東京大学
    • 関連する報告書
      2009 実績報告書
  • [学会発表] 複数ユーザ対会話工ージェントとの多人数インタラクションの収集と分析-参与構造の推定に向けて2010

    • 著者名/発表者名
      福原佑貴, 中野有紀子
    • 学会等名
      第72回情報処理学会全国大会
    • 発表場所
      東京大学
    • 関連する報告書
      2009 実績報告書
  • [学会発表] 音声認識・言語理解システムを用いた音声対話コーパスの収集とその利用2009

    • 著者名/発表者名
      小野正貴, 中野有紀子
    • 学会等名
      第79回情報処理学会音声言語情報処理研究会(SIG-SLP)
    • 発表場所
      東京大学
    • 年月日
      2009-12-22
    • 関連する報告書
      2009 実績報告書
  • [学会発表] Information State based Multimodal Dialogue Management : Estimating Conversational Engagement from Gaze Information2009

    • 著者名/発表者名
      Nakano, Y., Yamaoka, Y.
    • 学会等名
      9th International Conference on Intelligent Virtual Agents (IVA09)
    • 発表場所
      Springer, Berlin, Heidelbere
    • 年月日
      2009-09-20
    • 関連する報告書
      2009 実績報告書
  • [学会発表] 音声認識・言語理解システムを用いた音声対話コーパスの収集と分析2009

    • 著者名/発表者名
      小野正貴, 本間健, 神田直之, 永松健司, 中野有紀子
    • 学会等名
      第23回人工知能学会全国大会
    • 発表場所
      サンポートホール高松
    • 年月日
      2009-06-17
    • 関連する報告書
      2009 実績報告書

URL: 

公開日: 2009-04-01   更新日: 2018-03-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi