• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

知識に基づく個人適応型対話制御機能を有するマルチモーダル対話システム

研究課題

研究課題/領域番号 19H04159
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61020:ヒューマンインタフェースおよびインタラクション関連
研究機関成蹊大学

研究代表者

中野 有紀子  成蹊大学, 理工学部, 教授 (40422505)

研究分担者 坂戸 達陽  成蹊大学, 理工学部, 助教 (10780679)
高瀬 裕  成蹊大学, 理工学部, 助教 (60744000)
研究期間 (年度) 2019-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
17,030千円 (直接経費: 13,100千円、間接経費: 3,930千円)
2022年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2021年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2020年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2019年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
キーワードインタビュー対話システム / 大規模知識 / 質問生成 / ジェスチャ生成 / 対話システム / 意味内容 / 生成モデル / マルチモーダルモデル / ユーザ適応 / 会話参加者特性 / ジェスチャ / 性格特性 / マルチモーダル理解 / 会話エージェント / マルチモーダル / 話題埋め込み / 知識埋め込み / ジェスチャ形態決定 / 個人適応
研究開始時の研究の概要

AIスピーカーやチャットボット等,機械との音声対話が身近になりつつある.しかし現在,雑談対話といわれる,オープンドメインの対話システムは,個人に適応した知的なコミュニケーションができるレベルには至っていない.本研究では,大規模な知識ベースとコーパス学習モデルを融合し,オープンドメインの個人適応型対話システムの実現を目指す.また,ユーザ応答のマルチモーダルな解析を行うことにより,ユーザとの対話を通して,ユーザモデルを獲得する方法を確立する.さらに,姿を変えても,一貫したユーザ適応性を保証する会話エージェントシステムを実現するために,エージェントマイグレーションのプラットフォームを開発する.

研究成果の概要

本研究は,ユーザの嗜好を獲得するシステムの実現を目指し,料理や食に関する会話の中でユーザの嗜好を訪ねるインタビュー対話システムを開発した.意味のある知的な対話を実現するための工夫は,大規模知識を用いて質問を生成し,インタビュアーの質問の意味表現を学習することに着目した点である.これにより,豊富なバリエーションの対話を生成し,比較的少ない学習データから,従来手法よりも適切な質問を生成することができた.

研究成果の学術的意義や社会的意義

対話システムが実用化され,社会に普及し始める中,個人適応型のサービスを提供するためには,対話システムが自動的にユーザの特性を獲得することが必要となる.本研究は,食に関する嗜好獲得に焦点を当て,ユーザがシステムとの対話を楽しむ中で,システムがユーザの嗜好を獲得するインタビュー対話システムを開発した.本研究は,「知識」と「文脈」という対話制御には不可欠である要素に焦点を当て,最新の深層学習の利点を活かしつつ,深層学習モデルに基づく対話生成手法ではあまり注目されていなかった「発話の意味」を重視した手法を提案している.

報告書

(5件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実績報告書
  • 2020 実績報告書
  • 2019 実績報告書
  • 研究成果

    (36件)

すべて 2023 2022 2021 2020 2019 その他

すべて 国際共同研究 (3件) 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 3件) 学会発表 (24件) (うち国際学会 11件、 招待講演 1件) 備考 (3件)

  • [国際共同研究] ISN-CNRS/CNRS-ISIR(フランス)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] Augsburg university(ドイツ)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] CMU(米国)

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] Estimating and Visualizing Persuasiveness of Participants in Group Discussions2023

    • 著者名/発表者名
      Ito Atsushi、Nakano Yukiko I.、Nihei Fumio、Sakato Tatsuya、Ishii Ryo、Fukayama Atsushi、Nakamura Takao
    • 雑誌名

      情報処理学会論文誌

      巻: 64

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] 性格特性を表現するエージェントジェスチャの生成2021

    • 著者名/発表者名
      中野 有紀子、大山 真央、二瓶 芙巳雄、東中 竜一郎、石井 亮
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: 23 号: 2 ページ: 153-164

    • DOI

      10.11184/his.23.2_153

    • NAID

      130008043055

    • ISSN
      1344-7262, 2186-8271
    • 年月日
      2021-05-25
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 知識と話題の埋め込み表現に基づく質問生成と対話システムへの適用―料理嗜好インタビューシステムに向けて―2021

    • 著者名/発表者名
      Zeng Jie、Nakano Yukiko
    • 雑誌名

      自然言語処理

      巻: 28 号: 2 ページ: 598-631

    • DOI

      10.5715/jnlp.28.598

    • NAID

      130008052563

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 多人数遠隔コミュニケーションにおける肯定的感情表出支援の効果と支援適用タイミングの決定2021

    • 著者名/発表者名
      二瓶芙巳雄,田口和佳奈,中野有紀子,深澤伸一,赤津裕子
    • 雑誌名

      情報処理学会論文誌

      巻: 62 ページ: 761-771

    • NAID

      170000184350

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] マルチモーダル情報に基づく重要発言推定モデルを搭載した議論要約ブラウザの有効性の検証2020

    • 著者名/発表者名
      二瓶 芙巳雄、中野 有紀子
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: 22 号: 2 ページ: 137-150

    • DOI

      10.11184/his.22.2_137

    • NAID

      130007846089

    • ISSN
      1344-7262, 2186-8271
    • 年月日
      2020-05-25
    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Exploring Methods for Predicting Important Utterances Contributing to Meeting Summarization2019

    • 著者名/発表者名
      Nihei, F. and Nakano, Y.I.
    • 雑誌名

      Multimodal Technologies and Interaction

      巻: 3 号: 3 ページ: 50-50

    • DOI

      10.3390/mti3030050

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Semantic Content Prediction for Generating Interviewing Dialogues to Elicit Users' Food Preferences2022

    • 著者名/発表者名
      Jie Zeng, Tatsuya Sakato, and Yukiko I. Nakano
    • 学会等名
      Proceedings of the Second Workshop on When Creative AI Meets Conversational AI, in the 29th International Conference on Computational Linguistics (COLING2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Detecting Change Talk in Motivational Interviewing using Verbal and Facial Information.2022

    • 著者名/発表者名
      Yukiko I. Nakano, Eri Hirose, Tatsuya Sakato, Shogo Okada, and Jean-Claude Martin
    • 学会等名
      the 2022 International Conference on Multimodal Interaction (ICMI '22) [Best Paper Award Runner-up] https://doi.org/10.1145/3536221.3556607
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] ガウス混合モデルを用いたHuman-Agent Interactionにおけるユーザの表情分析2022

    • 著者名/発表者名
      坂戸達陽,ZENG Jie,中野有紀子
    • 学会等名
      第21回情報科学技術フォーラム (FIT2022)2022/8/30
    • 関連する報告書
      2022 実績報告書
  • [学会発表] グループディスカッションにおける説得力の推定のためのマルチパーティモデル2022

    • 著者名/発表者名
      伊藤温志,坂戸達陽,中野有紀子,二瓶芙巳雄,石井亮,深山篤,中村高雄
    • 学会等名
      2022年度人工知能学会全国大会(第36回) 2022/6/1
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Predicting Persuasiveness of Participants in Multiparty Conversations2022

    • 著者名/発表者名
      Atsushi Ito, Yukiko I. Nakano, Fumio Nihei, Tatsuya Sakato, Ryo Ishii, Atsushi Fukayama, and Takao Nakamura
    • 学会等名
      27th International Conference on Intelligent User Interfaces (IUI '22 Companion).Association for Computing Machinery, New York, NY, USA, 85-88. DOI:https://doi.org/10.1145/3490100.3516466
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 社会的信号処理に基づくコミュニケーション支援2022

    • 著者名/発表者名
      中野有紀子
    • 学会等名
      日本動機づけ面接協会(JAMI)第10回大会,2022/3/12.(招待講演)
    • 関連する報告書
      2021 実績報告書
    • 招待講演
  • [学会発表] マルチモーダル情報に基づく相槌的応答と表情強度の推定2021

    • 著者名/発表者名
      上野諒祐,坂戸達陽,中野有紀子
    • 学会等名
      2021年度人工知能学会全国大会(第35回)E2-OS-5b-01,2021/6/8. 【全国大会優秀賞】
    • 関連する報告書
      2021 実績報告書
  • [学会発表] グループディスカッションにおける説得力の推定2021

    • 著者名/発表者名
      伊藤温志,坂戸達陽,中野有紀子
    • 学会等名
      2021年度人工知能学会全国大会(第35回)3E2-OS-5b-02,2021/6/8
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Estimating the Intensity of Facial Expressions Accompanying Feedback Responses in Multiparty Video-Mediated Communication2020

    • 著者名/発表者名
      Ryosuke Ueno, Yukiko I. Nakano, Jie Zeng, and Fumio Nihei
    • 学会等名
      the 2020 International Conference on Multimodal Interaction (ICMI '20). Association for Computing Machinery, New York, NY, USA, pp. 144-152. DOI:https://doi.org/10.1145/3382507.3418878
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Impact of Personality on Nonverbal Behavior Generation2020

    • 著者名/発表者名
      Ryo Ishii, Chaitanya Ahuja, Yukiko I. Nakano, and Louis-Philippe Morency
    • 学会等名
      the 20th ACM International Conference on Intelligent Virtual Agents (IVA '20).DOI:https://doi.org/10.1145/3383652.3423908
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Style transfer for co-speech gesture animation: A multi-speaker conditional mixture approach2020

    • 著者名/発表者名
      C. Ahuja, D. W. Lee, Y. I. Nakano, and L.-P. Morency
    • 学会等名
      European Conference on Computer Vision(ECCV,2020)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 対象物のイメージに基づく図像的ジェスチャの形状推定2020

    • 著者名/発表者名
      二瓶 芙巳雄,中野 有紀子,東中 竜一郎,石井 亮
    • 学会等名
      第19回情報科学技術フォーラム(FIT2020) (2020年9月1-3日 オンライン開催).【FIT論文賞】
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 知識と話題の埋め込みに基づく質問生成機能を有する料理嗜好インタビューシステムの評価2020

    • 著者名/発表者名
      曽 傑,中野 有紀子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)2H6-GS-9-02,2020/6/10
    • 関連する報告書
      2020 実績報告書
  • [学会発表] マルチモーダル情報に基づく学習者のエンゲージメント推定2020

    • 著者名/発表者名
      内山 和也,中野 有紀子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)3M5-GS-12-03,2020/6/11
    • 関連する報告書
      2020 実績報告書
  • [学会発表] マルチモーダル情報に基づく重要発言推定モデルを搭載したマルチモーダル議論要約ブラウザの評価2020

    • 著者名/発表者名
      二瓶 芙巳雄,中野 有紀子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)4E2-OS-19a-02,2020/6/12
    • 関連する報告書
      2020 実績報告書
  • [学会発表] マルチモーダル情報に基づく応答と表情の自動生成2020

    • 著者名/発表者名
      上野 諒祐,曽 傑,中野 有紀子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)4E2-OS-19a-04,2020/6/12
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 音声・表情の非言語シグナルに基づく多人数遠隔コミュニケーション支援方法2020

    • 著者名/発表者名
      田口 和佳奈,中野 有紀子,二瓶 芙巳雄,深澤 伸一,赤津 裕子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)4E2-OS-19a-05,2020/6/12
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Exploiting a Large-scale Knowledge Graph for Question Generation in Food Preference Interview Systems2020

    • 著者名/発表者名
      Jie Zeng and Yukiko I. Nakano
    • 学会等名
      the 25th International Conference on Intelligent User Interfaces Companion (ACM IUI’20 Companion)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] A Multimodal Meeting Browser that Implements an Important Utterance Detection Model based on Multimodal Information2020

    • 著者名/発表者名
      Fumio Nihei and Yukiko I. Nakano
    • 学会等名
      the 25th International Conference on Intelligent User Interfaces Companion (ACM IUI’20 Companion)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Determining Iconic Gesture Forms based on Entity Image Representation2019

    • 著者名/発表者名
      Fumio Nihei, Yukiko I. Nakano, Ryuichiro Higashinaka, Ryo Ishii
    • 学会等名
      ICMI 2019: 419-425
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Multimodal BigFive Personality Trait Analysis Using Communication Skill Indices and Multiple Discussion Types Dataset2019

    • 著者名/発表者名
      Candy Olivia Mawalim, Shogo Okada, Yukiko I. Nakano, Masashi Unoki
    • 学会等名
      HCI (13) : 370-383
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Presenting Low-Accuracy Information of Emotion Recognition Enhances Human Awareness Performance2019

    • 著者名/発表者名
      Shinichi Fukasawa, Hiroko Akatsu, Wakana Taguchi, Fumio Nihei, Yukiko I. Nakano
    • 学会等名
      HCI (4) 2019: 415-424
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] マルチモーダル特徴量を用いた談話セグメントの検出2019

    • 著者名/発表者名
      冨山 健, 二瓶 芙巳雄, 高瀬 裕, 中野 有紀子
    • 学会等名
      2019年度人工知能学会全国大会(第33回), 4F3-OS-11b-02, 新潟県新潟市, 2019/6/7
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 知識と話題の埋め込み表現に基づく応答生成-料理嗜好インタビューシステムに向けてー2019

    • 著者名/発表者名
      曽 傑, 高瀬 裕, 中野 有紀子
    • 学会等名
      2019年度人工知能学会全国大会(第33回), 2L3-J-9-01, 新潟県新潟市, 2019/6/5. 【全国大会優秀賞】
    • 関連する報告書
      2019 実績報告書
  • [備考] 成蹊大学知的インタフェース研究室

    • URL

      https://iui.ci.seikei.ac.jp/

    • 関連する報告書
      2022 実績報告書 2021 実績報告書
  • [備考] 成蹊大学 知的インタフェース研究室

    • URL

      http://iui.ci.seikei.ac.jp/achievement-2/

    • 関連する報告書
      2020 実績報告書
  • [備考]

    • URL

      http://iui.ci.seikei.ac.jp/

    • 関連する報告書
      2019 実績報告書

URL: 

公開日: 2019-04-18   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi