• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

相互注視成立判定方式の確立と会話エージェントへの応用

Publicly Offered Research

Project AreaClarification of the mechanism of face recognition by interdisciplinary research
Project/Area Number 23119721
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionSeikei University

Principal Investigator

中野 有紀子  成蹊大学, 理工学部, 教授 (40422505)

Project Period (FY) 2011-04-01 – 2013-03-31
Project Status Completed (Fiscal Year 2012)
Budget Amount *help
¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
Fiscal Year 2012: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2011: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Keywords視線 / 相互注視 / 会話エージェント / 優位性推定 / 表情 / コミュニケーション障害
Outline of Annual Research Achievements

1.視線,音声情報からの会話における優位性推定
複数人からなるグループユーザに対応する会話エージェントシステムでは,ユーザ同士の会話の様子を自動認識することが重要である.本研究では,音声と視線による非言語情報からユーザ同士の会話における会話参加者の優位性を自動推定する方式を考案した.まずWizard-of-Oz手法を用いた会話エージェントと3人の被験者との会話収集実験を行い,音声とモーションキャプチャによる注視方向データを収集し,注視・相互注視情報と,発話時間や発話権取得についての音声情報から会話参加者の優位性の推定を行うための重回帰モデルを作成した.その結果重相関係数が0.85となり,会話における優位性の高い人物を特定するのに十分な精度が得られた.

2.複数人対応会話エージェントにおける受話者推定機構の構築
人とエージェントとの複数人会話において,エージェントが応答すべき時に的確に応答するには,ユーザの発話が誰に向けられているのかを判断する機能が不可欠である.本研究では,ユーザの音声情報と頭部方向情報を用いて受話者を推定する方式を考案した.音声情報・頭部方向情報と受話者との相関関係の分析を行った結果,ユーザはエージェントに対して話している時は,より高く,大きい声で,ゆっくりと話すことが分かった.また,もう一人のユーザが受話者である時は,33.5%の時間しか,受話者を見ていないことがわかった.これにより,ユーザは頻繁に受話者を見るが,頭部方向情報のみでは受話者を推定することが困難であることが分かった.これらの分析結果に基づき,音声情報と頭部方向情報を統合し,SVMによる受話者推定モデルを構築し,さらにリアルタイムで動作する受話者推定システムを構築し,評価実験を実施したところ,不正な音声入力を除いた場合には, 80%以上の分類精度が得られた.

Research Progress Status

24年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

24年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2012 Annual Research Report
  • 2011 Annual Research Report
  • Research Products

    (27 results)

All 2013 2012 2011 Other

All Journal Article (4 results) (of which Peer Reviewed: 4 results) Presentation (18 results) Book (3 results) Remarks (2 results)

  • [Journal Article] 人対会話エージェントとの多人数会話における頭部方向と音声情報を用いた受話者推定機構2013

    • Author(s)
      馬場直哉,黄 宏軒,中野有紀子
    • Journal Title

      人工知能学会論文誌

      Volume: 28 Pages: 149-159

    • NAID

      130003362320

    • Related Report
      2012 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Gaze Awareness in Conversational Agents: Estimating User's Conversational Engagement from Eye-Gaze2013

    • Author(s)
      Ishii, R., Nakano, Y. I., and Nishida, T.
    • Journal Title

      The ACM Transactions on Interactive Intelligent Systems (TiiS)

      Volume: 3

    • Related Report
      2012 Annual Research Report
    • Peer Reviewed
  • [Journal Article] メタバースにおける言語・空間情報に基づくアバタへの道案内ジェスチャの自動付与2012

    • Author(s)
      塚本 剛生,中野 有紀子
    • Journal Title

      日本バーチャルリアリティ学会論文誌

      Volume: 17 Pages: 79-89

    • Related Report
      2012 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 視線と頭部動作に基づくユーザの会話参加態度の推定2011

    • Author(s)
      石井亮, 大古亮太, 中野有紀子, 西田豊明
    • Journal Title

      情報処理学会論文誌

      Volume: 52-12 Pages: 3625-3636

    • NAID

      110008719939

    • Related Report
      2011 Annual Research Report
    • Peer Reviewed
  • [Presentation] Estimating Conversational Dominance in Multiparty Interaction2012

    • Author(s)
      Yukiko I. Nakano, Yuki Fukuhara
    • Organizer
      14th ACM International Conference on Multimodal Interaction (ICMI2012)
    • Place of Presentation
      USA, California
    • Year and Date
      2012-10-23
    • Related Report
      2012 Annual Research Report
  • [Presentation] Towards Assessing the Communication Responsiveness of People with Dementia2012

    • Author(s)
      Yuuko Nonaka, Yoichi Sakai, Kiyoshi Yasuda, Yukiko I. Nakano
    • Organizer
      the 12th International Conference on Intelligent Virtual Agents (IVA 2012)
    • Place of Presentation
      USA, California
    • Year and Date
      2012-09-12
    • Related Report
      2012 Annual Research Report
  • [Presentation] 高齢者の会話における反応性の定量化と可視化2012

    • Author(s)
      野中 裕子, 酒井 洋一, 安田 清, 中野 有紀子
    • Organizer
      26 回人工知能学会全国大会
    • Place of Presentation
      山口県
    • Year and Date
      2012-06-12
    • Related Report
      2012 Annual Research Report
  • [Presentation] 認知症患者のコミュニケーション特性の評定における会話エージェントの利用2012

    • Author(s)
      酒井洋一, 野中裕子, 安田清, 中野有紀子
    • Organizer
      第74回情報処理学会全国大会
    • Place of Presentation
      名古屋工業大学
    • Year and Date
      2012-03-07
    • Related Report
      2011 Annual Research Report
  • [Presentation] Listener agent for elderly people with dementia2012

    • Author(s)
      Yoichi Sakai, Yuuko Nonaka, Kiyoshi Yasuda, Yukiko I.Nakano
    • Organizer
      the seventh annual ACM/IEEE international conference on Human-Robot Interaction (HRI2012)
    • Place of Presentation
      Boston, USA
    • Year and Date
      2012-03-06
    • Related Report
      2011 Annual Research Report
  • [Presentation] Referent identification process in human-robot multimodal communication2012

    • Author(s)
      Yuta Shibasaki, Takahiro Inaba, Yukiko I.Nakano
    • Organizer
      the seventh annual ACM/IEEE international conference on Human-Robot Interaction (HRI2012)
    • Place of Presentation
      Boston, USA
    • Year and Date
      2012-03-06
    • Related Report
      2011 Annual Research Report
  • [Presentation] 複数ユーザ対会話エージェントとの多人数インタラクションにおける優位性の自動推定方法2012

    • Author(s)
      福原佑貴, 中野有紀子
    • Organizer
      第74回情報処理学会全国大会
    • Place of Presentation
      名古屋工業大学
    • Year and Date
      2012-03-06
    • Related Report
      2011 Annual Research Report
  • [Presentation] Addressee identification for human-human-agent multiparty conversations in different proxemics2012

    • Author(s)
      Naoya Baba, Hung-Hsuan Huang, Yukiko I. Nakano
    • Organizer
      4th Workshop on Eye Gaze in Intelligent Human Machine Interaction
    • Place of Presentation
      USA, California
    • Related Report
      2012 Annual Research Report
  • [Presentation] グループ会話対応型会話エージェントにおける受話者推定システム2011

    • Author(s)
      馬場直哉, 黄宏軒, 中野有紀子
    • Organizer
      HAIシンポジウム2011
    • Place of Presentation
      京都工芸繊維大学
    • Year and Date
      2011-12-03
    • Related Report
      2011 Annual Research Report
  • [Presentation] Making a Virtual Conversational Agent be Aware of the Addressee of Users' Utterances in Multi-user Conversation from Nonverbal Information2011

    • Author(s)
      Hung-Hsuan Huang, Naoya Baba, Yukiko Nakano
    • Organizer
      the 13th International Conference on Multimodal Interaction (ICMI2011)
    • Place of Presentation
      Alicante, Spain
    • Year and Date
      2011-11-16
    • Related Report
      2011 Annual Research Report
  • [Presentation] Identifying Utterances Addressed to an Agent in Multiparty Human-Agent Conversations2011

    • Author(s)
      Naoya Baba, Hung-Hsuan Huang, Yukiko I.Nakano
    • Organizer
      the 11th International Conference on Intelligent Virtual Agents (IVA2011)
    • Place of Presentation
      Reykjavik, Iceland
    • Year and Date
      2011-09-16
    • Related Report
      2011 Annual Research Report
  • [Presentation] Estimating a User's Conversational Engagement Based on Head Pose Information2011

    • Author(s)
      Ryota Ooko, Ryo Ishii, Yukiko I.Nakano
    • Organizer
      the 11th International Conference on Intelligent Virtual Agents (IVA2011)
    • Place of Presentation
      Reykjavik, Iceland
    • Year and Date
      2011-09-16
    • Related Report
      2011 Annual Research Report
  • [Presentation] 会話エージェントによる認知症患者への語りかけの効果2011

    • Author(s)
      酒井洋一, 安田清, 中野有紀子
    • Organizer
      第10回情報科学技術フォーラム(FIT2011)
    • Place of Presentation
      函館大学・函館短期大学
    • Year and Date
      2011-09-09
    • Related Report
      2011 Annual Research Report
  • [Presentation] ヒューマノイドロボットのジェスチャに対する人の注視行動の分析2011

    • Author(s)
      柴崎優太, 上出純平, 福原佑貴, 中野有紀子
    • Organizer
      第10回情報科学技術フォーラム(FIT2011)
    • Place of Presentation
      函館大学・函館短期大学
    • Year and Date
      2011-09-09
    • Related Report
      2011 Annual Research Report
  • [Presentation] 人対エージェントの会話における頭部動作情報に基づくユーザ態度の推定2011

    • Author(s)
      大古亮太, 石井亮, 中野有紀子
    • Organizer
      電子情報通信学会ヒューマンコミュニケーション基礎研究会(HCS)
    • Place of Presentation
      京都大学
    • Year and Date
      2011-08-26
    • Related Report
      2011 Annual Research Report
  • [Presentation] Effectiveness of remote assistance for people with dementia at home using reminiscence system and a schedule prompter2011

    • Author(s)
      Kiyoshi Yasuda
    • Organizer
      Alzheimer's Association 2011 International Conference on Alzheimer's Disease (AAICAD)
    • Place of Presentation
      Paris, France
    • Year and Date
      2011-07-20
    • Related Report
      2011 Annual Research Report
  • [Presentation] コミュニケーションロボットにおけるジェスチャ表出の有効性2011

    • Author(s)
      福原佑貴, 上出純平, 中野有紀子
    • Organizer
      第25回人工知能学会全国大会
    • Place of Presentation
      岩手県民情報交流センター
    • Year and Date
      2011-06-02
    • Related Report
      2011 Annual Research Report
  • [Presentation] 認知症患者のための語りかけエージェント2011

    • Author(s)
      中野有紀子, 比企野純太, 安田清
    • Organizer
      第25回人工知能学会全国大会
    • Place of Presentation
      岩手県民情報交流センター
    • Year and Date
      2011-06-01
    • Related Report
      2011 Annual Research Report
  • [Book] 「顔研究から生まれるコミュニケーションシステム」,山口 真美 柿木 隆介 (編),顔を科学する -適応と障害の脳科学- 15章2013

    • Author(s)
      武川直樹・中野有紀子
    • Total Pages
      352
    • Publisher
      東京大学出版会
    • Related Report
      2012 Annual Research Report
  • [Book] Eye Gaze in Intelligent User Interfaces-Gaze-based Analyses, Models and Applications-2012

    • Author(s)
      Nakano, Y., Conati, C., Bader, T.
    • Total Pages
      207
    • Publisher
      Springer
    • Related Report
      2012 Annual Research Report
  • [Book] Intelligent Virtual Agents: 12th International Conference, IVA 20122012

    • Author(s)
      Yukiko Nakano, Michael Neff, Ana Paiva, Marilyn Walker
    • Total Pages
      540
    • Publisher
      Springer
    • Related Report
      2012 Annual Research Report
  • [Remarks] 成蹊大学 知的インタフェース研究室

    • URL

      http://iui.ci.seikei.ac.jp/

    • Related Report
      2012 Annual Research Report
  • [Remarks]

    • URL

      http://www.ci.seikei.ac.jp/nakano/research2.html

    • Related Report
      2011 Annual Research Report

URL: 

Published: 2011-04-06   Modified: 2018-03-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi