• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

傾聴エージェントのためのマルチモーダル情報を利用した応答モデルの研究

研究課題

研究課題/領域番号 16K00289
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 ヒューマンインタフェース・インタラクション
研究機関国立研究開発法人理化学研究所 (2018)
立命館大学 (2016-2017)

研究代表者

黄 宏軒  国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (00572950)

研究分担者 林 勇吾  立命館大学, 総合心理学部, 准教授 (60437085)
研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2018年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2017年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2016年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード会話エージェント / 高齢者支援 / 対話システム / マルチモーダルインタラクション / 会話状態推定 / 機械学習 / 深層学習 / 人工知能 / コミュニケーション / 傾聴 / 感情モデル
研究成果の概要

本研究では独居高齢者向けに,傾聴ボランティアの代わりに擬人化キャラクタにより常時サービスを提供することが可能な「傾聴エージェント」の実現を目指す.大きく分けて3つの課題に取り組んでいた: ①傾聴エージェントの入力,すなわち,会話中の利用者の会話参加態度の推定モデルの構築. ②エージェントの出力に当たる,話し手の言動に反応する表情,姿勢といった非言語シグナルの生成モデルの構築.③上記2つのタスクを連動させ,マルチモーダルインタラクションのできる会話エージェントプラットフォームの開発であった.基礎となる会話コーパス収集実験を2回行い,これらのデータから機械学習の手法を用いてモデルを構築した.

研究成果の学術的意義や社会的意義

利用者に対しての癒し効果を狙って利用者から話しかければ,意図を持たず単純な反応を適当に返す市販のペットロボットや研究用ロボットが提案されている.しかし,言語・非言語チャンネルの両方が重要な対面対話である傾聴会話を扱い,それが行えるシステムはまだ存在していない.本研究は,人間同士による会話実験を通じて傾聴会話の参加者の具体的な言動の関係を分析し,モデル化,実用システムの開発まで行おうとするものである.傾聴という難しいタスクに踏み込み,コミュニケーションのメカニズムを解明するという科学的な意義と実際に動作するエージェントシステムの働きにより利用者の心的ケアを目指す工学的な意義の両方をもつ.

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (38件)

すべて 2019 2018 2017 2016

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 2件、 謝辞記載あり 1件) 学会発表 (35件) (うち国際学会 18件、 招待講演 2件)

  • [雑誌論文] Tuning a conversation strategy for interactive recommendations in a chatbot setting2019

    • 著者名/発表者名
      Yuichiro Ikemoto, Varit Asawavetvutt, Kazuhiro Kuwabara and Hung-Hsuan Huang
    • 雑誌名

      Journal of Information and Telecommunication

      巻: 3 号: 2 ページ: 180-195

    • DOI

      10.1080/24751839.2018.1544818

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] グループディスカッション参加者の機能的役割とその変遷の分析2018

    • 著者名/発表者名
      張 琪、黄 宏軒、木村 清也、岡田 将吾、大田 直樹、桑原 和宏
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: 20 号: 1 ページ: 31-44

    • DOI

      10.11184/his.20.1_31

    • NAID

      130006401342

    • ISSN
      1344-7262, 2186-8271
    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 傾聴エージェントの実現に向けた傾聴会話参加者の自他評価による数値化モデルの提案2016

    • 著者名/発表者名
      黄 宏軒,澁澤紗優美,林 勇吾,川越恭二
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: 18 ページ: 373-384

    • NAID

      130007671640

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [学会発表] Detection of Student Teacher's Intention using Multimodal Features in a Virtual Classroom2019

    • 著者名/発表者名
      Masato Fukuda, Hung-Hsuan Huang, and Toyoaki Nishida
    • 学会等名
      11th International Conference on Agents and Artificial Intelligence (ICAART 2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Toward RNN based Micro Non-verbal Behavior Generation for Virtual Listener Agents2019

    • 著者名/発表者名
      Hung-Hsuan Huang, Masato Fukuda, Toyoaki Nishida
    • 学会等名
      HCI International 2019
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Story Envisioning Framework for Visualized Collective Storytelling in Conversation2019

    • 著者名/発表者名
      Qiang Zhang, Maryam Mirzaei, Hung-Hsuan Huang, Toyoaki Nishida
    • 学会等名
      HCI International 2019
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Development of a Platform of RNN Driven Multimodal Interaction for Embodied Conversational Agents2019

    • 著者名/発表者名
      Hung-Hsuan Huang, Masato Fukuda, Toyoaki Nishida
    • 学会等名
      19th ACM International Conference on Intelligent Virtual Agents (IVA 2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Multimodal Assessment on Teaching Skills in a Virtual Rehearsal Environment2019

    • 著者名/発表者名
      Masato Fukuda, Hung-Hsuan Huang, Kazuhiro Kuwabara, and Toyoaki Nishida
    • 学会等名
      19th ACM International Conference on Intelligent Virtual Agents (IVA 2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] マルチモーダル特徴量を用いた教員志望者の授業スキル評価モデルの提案2019

    • 著者名/発表者名
      福田匡人,黄 宏軒,桑 原和宏,西田豊明
    • 学会等名
      HAIシンポジウム2018
    • 関連する報告書
      2018 実績報告書
  • [学会発表] グループディスカッション参加ロボットの頭部動作の印象評価2019

    • 著者名/発表者名
      木村清也,黄 宏軒, 桑原和宏,西田豊明
    • 学会等名
      HAIシンポジウム2018
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 回帰型ニューラルネットを用いた会話エージェントのアイドリング動作生成の検討2019

    • 著者名/発表者名
      黄 宏軒,福田匡人,西 田豊明
    • 学会等名
      第33回人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Conversational Informatics -Virtual Agents and their Applications2019

    • 著者名/発表者名
      Hung-Hsuan Huang
    • 学会等名
      SOCRATES Meeting
    • 関連する報告書
      2018 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Proposal of a Multimodal Framework for Generating Robot's Spontaneous Attention Directions and Nods in Group Discussion2018

    • 著者名/発表者名
      Hung-Hsuan Huang, Seiya Kimura, Kazuhiro Kuwabara, Toyoaki Nishida
    • 学会等名
      AI for Multimodal Human Robot Interaction (AI-MHRI) Workshop, IJCAI-ECAI 2018
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Estimating Speaker's Engagement from Non-verbal Features based on an Active Listening Corpus2018

    • 著者名/発表者名
      Lei Zhang, Hung-Hsuan Huang, Kazuhiro Kuwabara
    • 学会等名
      HCI International 2018
    • 関連する報告書
      2018 実績報告書 2017 実施状況報告書
    • 国際学会
  • [学会発表] Adopting Functional Roles for Improving Participants' Communication Skill in Group Discussion Conversation2018

    • 著者名/発表者名
      Hung-Hsuan Huang, Qi Zhang, Shogo Okada, Kazuhiro Kuwabara, Toyoaki Nishida
    • 学会等名
      Workshop on Group Interaction Frontiers in Technology (GIFT 2018), 20th ACM International Conference on Multimodal Interaction (ICMI 2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] FACSvatar: An Open Source Modular Framework for Real-Time FACS based Facial Animation2018

    • 著者名/発表者名
      Stef van der Struijk, Hung-Hsuan Huang, Maryam Sadat Mirzaei, and Toyoaki Nishida
    • 学会等名
      18th ACM International Conference on Intelligent Virtual Agents (IVA 2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Proposal of a Multi-purpose and Modular Virtual Classroom Framework for Teacher Training2018

    • 著者名/発表者名
      Masato Fukuda, Hung-Hsuan Huang, Kazuhiro Kuwabara, and Toyoaki Nishida
    • 学会等名
      18th ACM International Conference on Intelligent Virtual Agents (IVA 2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Integration of DNN Generated Spontaneous Reactions with a Generic Multimodal Framework for Embodied Conversational Agents2018

    • 著者名/発表者名
      Hung-Hsuan Huang, Masato Fukuda, Stef van der Struijk, and Toyoaki Nishida
    • 学会等名
      6th International Conference on Human-Agent Interaction (HAI 2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Investigation of Class Atmosphere Cognition in a VR Classroom2018

    • 著者名/発表者名
      Masato Fukuda, Hung-Hsuan Huang, Kazuhiro Kuwabara, and Toyoaki Nishida
    • 学会等名
      6th International Conference on Human-Agent Interaction (HAI 2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 仮想学級の雰囲気表現を用いた教員志望者の指導訓練環境の検討2018

    • 著者名/発表者名
      福田 匡人,黄 宏軒, 桑原 和宏
    • 学会等名
      第32回人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] グループディスカッション参加ロボットの頭部動作決定機構の検討2018

    • 著者名/発表者名
      木村 清也,黄 宏軒, 桑原 和宏
    • 学会等名
      第32回人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 仮想学級におけるマルチモーダル特徴量を用いた教員志望者の授業意図の検出2018

    • 著者名/発表者名
      福田 匡人,黄 宏軒, 西田豊明
    • 学会等名
      HCGシンポジウム2018
    • 関連する報告書
      2018 実績報告書
  • [学会発表] コミュニケーション支援エージェントのための多人数会話マルチモーダル解析2018

    • 著者名/発表者名
      黄 宏軒
    • 学会等名
      電子情報通信学会ヒューマンプローブ研究会(HPB)第19回研究会
    • 関連する報告書
      2018 実績報告書
    • 招待講演
  • [学会発表] 仮想学級の雰囲気表現を用いた教員志望者の指導訓練環境の検討2018

    • 著者名/発表者名
      福田 匡人、黄 宏軒、桑原 和宏
    • 学会等名
      第32回人工知能学会全国大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] グループディスカッション参加ロボットの頭部動作決定機構の検討2018

    • 著者名/発表者名
      木村 清也、黄 宏軒、桑原 和宏
    • 学会等名
      第32回人工知能学会全国大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Toward a Supporting System of Communication Skill: The Influence of Functional Roles of Participants in Group Discussion2017

    • 著者名/発表者名
      Qi Zhang, Hung-Hsuan Huang, Seiya Kimura, Shogo Okada, Yuki Hayashi, Yutaka Takase, Yukiko Nakano, Naoki Ohta, Kazuhiro Kuwabara
    • 学会等名
      HCI International 2017
    • 発表場所
      Vancouver, Canada
    • 年月日
      2017-07-12
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] グループディスカッション参加者の役割に基づいた会話状況とコミュニケーション能力の分析2017

    • 著者名/発表者名
      張 琪,木村清也,黄 宏軒,岡田将吾,林 佑樹,高瀬 裕,中野有紀子,桑原和宏
    • 学会等名
      第31回人工知能学会全国大会
    • 発表場所
      ウインクあいち(愛知県・名古屋市)
    • 年月日
      2017-05-24
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] グループディスカッションに参加するロボットにおけるアテンション対象モデルの提案2017

    • 著者名/発表者名
      木村清也,張 琪,黄 宏軒,岡田将吾,林 佑樹,高瀬 裕,中野有紀子,大田直樹,桑原和宏
    • 学会等名
      第31回人工知能学会全国大会
    • 発表場所
      ウインクあいち(愛知県・名古屋市)
    • 年月日
      2017-05-24
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 教員志願者の練習システムにおける仮想学級の雰囲気モデルの提案2017

    • 著者名/発表者名
      福田匡人,黄 宏軒,桑原和宏,大田直樹
    • 学会等名
      電子情報通信学会・ヒューマンコミュニケーション基礎研究会
    • 発表場所
      なみきスクウェア(福岡県・北九州市)
    • 年月日
      2017-01-27
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Proposal of a Parameterized Atmosphere Generation Model in a Virtual Classroom2017

    • 著者名/発表者名
      Masato Fukuda, Hung-Hsuan Huang, Naoki Ohta, Kazuhiro Kuwabara
    • 学会等名
      5th International Conference on Human-Agent Interaction (HAI 2017)
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Proposal of a Model to Determine the Attention Target for an Agent in Group Discussion with Non-verbal Features2017

    • 著者名/発表者名
      Seiya Kimura, Hung-Hsuan Huang, Qi Zhang, Shogo Okada, Naoki Ohta, Kazuhiro Kuwabara
    • 学会等名
      5th International Conference on Human-Agent Interaction (HAI 2017)
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] グループディスカッションに参加するロボットのための頭部動作モデルの検討2017

    • 著者名/発表者名
      木村清也,黄 宏軒,岡田将吾,大田直樹,桑原和宏
    • 学会等名
      HAIシンポジウム2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 実験結果に基づく仮想学級雰囲気生成モデルの提案2017

    • 著者名/発表者名
      福田匡人,黄 宏軒,大田直樹,桑原和宏
    • 学会等名
      HAIシンポジウム2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 仮想学級システムに向けての自動評価基準の検討2017

    • 著者名/発表者名
      淀川 大,木下遼祐,黄 宏軒,大田直樹,桑原和宏
    • 学会等名
      電子情報通信学会ヒューマンコミュニケーション基礎研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] グループディスカッションにおける参加者役割とコミュニケーション能力印象評価の関連性分析2016

    • 著者名/発表者名
      張 琪,木村清也,黄 宏軒,岡田将吾,林 佑樹,高瀬 裕,中野有紀子,大田直樹,桑原和宏
    • 学会等名
      HAIシンポジウム 2016
    • 発表場所
      東京大学駒場キャンパス(東京都・目黒区)
    • 年月日
      2016-12-03
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Development of a Virtual Classroom for High School Teacher Training2016

    • 著者名/発表者名
      Hung-Hsuan Huang, Yuki Ida, Kohei Yamaguchi, Kyoji Kawagoe
    • 学会等名
      16th International Conference on Intelligent Virtual Agents (IVA 2016)
    • 発表場所
      Los Angeles, USA
    • 年月日
      2016-09-21
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Composing the Atmosphere of a Virtual Classroom with a Group of Student Agents2016

    • 著者名/発表者名
      Masato Fukuda, Hung-Hsuan Huang, Naoki Ohta, Kazuhiro Kuwabara
    • 学会等名
      16th International Conference on Intelligent Virtual Agents (IVA 2016)
    • 発表場所
      Los Angeles, USA
    • 年月日
      2016-09-21
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] 仮想学級による教員採用試験のための場面指導練習システムの開発2016

    • 著者名/発表者名
      福田匡人,冠野哲也,黄 宏軒,桑原和宏
    • 学会等名
      第30回人工知能学会全国大会
    • 発表場所
      北九州国際会議場(福岡県・北九州市)
    • 年月日
      2016-06-07
    • 関連する報告書
      2016 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi