• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

人と社会的に共生する対話システムのための行動決定モデル基盤技術の確立

Planned Research

Project AreaStudies on intelligent systems for dialogue toward the human-machine symbiotic society
Project/Area Number 19H05693
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionNTT Communication Science Laboratories

Principal Investigator

杉山 弘晃  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, 主任研究員 (30742283)

Co-Investigator(Kenkyū-buntansha) 石黒 浩  大阪大学, 基礎工学研究科, 教授 (10232282)
中村 泰  国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (70403334)
前田 英作  東京電機大学, システムデザイン工学部, 教授 (90396143)
Project Period (FY) 2019-06-28 – 2024-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥159,900,000 (Direct Cost: ¥123,000,000、Indirect Cost: ¥36,900,000)
Fiscal Year 2022: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000)
Fiscal Year 2021: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2020: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000)
Fiscal Year 2019: ¥28,860,000 (Direct Cost: ¥22,200,000、Indirect Cost: ¥6,660,000)
Keywords話者の個性のモデル化 / 長期対話における親密化 / 周囲状況に基づく発話生成 / 深層学習ベース大規模対話モデル / 共生する対話システム / ユーザ嗜好推定 / 対話システム / 人ロボット共生 / 個性 / 人の選択過程のモデル化 / 高密度趣味雑談コーパス / 長期テキストチャットコーパス / 3者間テキストチャットコーパス / 趣味を話題とする雑談 / カウンセラーロボット / システム個性 / ドメイン特化雑談対話システム / システムの個人性モデル / 選好推定モデル / 繰り返し対話の分析 / 行動決定モデル
Outline of Research at the Start

現在,コミュニケーション・パートナーとしての対話システムに対するニーズが急速に高まりつつあり,高齢者に対する認知的ケアの担い手など人の社会的欲求(帰属欲求・承認欲求等)を充足する道具として期待されている.しかしながら,現在の対話システムは社会的欲求を充足することが可能な対話相手として人から信頼されているとはいえない.その最大の理由は,対話システムの応答が反射的・即物的であり、自律的思考の存在を感じられないことにある.
本研究は,「所与の目的に対し自律的に行動を決定する対話システムの実現方法」を明らかにするとともに,「対話システムは人の社会的欲求を充足可能か」という問いに答えることを目的とする.

Outline of Annual Research Achievements

人と共生する対話システムには,数ヶ月に亘る長期間,自然に対話し続けられるだけの対話能力が不可欠である.高度な雑談や相談を行う対話システムを実現するプラットフォームとして,世界最大規模のテキスト対話データで学習した,深層学習ベースの対話モデル(大規模対話モデル)を構築し,評価・検証用途で無償公開を行った.また合わせて,Fine-tune(適応学習)に用いる高品質対話コーパスについても無償公開を行った.これらの取り組みにより,英語圏に対して極めて大きな差をつけられていた対話システム研究用のリソースを拡充し,十分に日本語でも対話システム研究を行う土壌を作ることができた.公開したデータやモデルは実際に多数の研究で利用されており,企業・大学を問わず,裾野の拡大に貢献している.
構築したモデルの利用について,A03内では,NTTと東京電機大が連携して,対話ロボットコンペティションに出場し,3位の好成績を収めている.文の尤度を基準に動作する大規模対話モデルの課題である事実性の向上に取り組み,多数の研究業績につなげている.またA01班での利用や,A02班の対話システムライブコンペでも活用されている.さらに,トヨタ自動車と連携し,ドライブ中の風景を話題とする対話システムを実現している.自車位置周辺の店舗情報と,実際に見える車窓画像を外部情報として取り込むことで,見えている店舗や物体を話題とする対話を実現している.実際にユーザと対話システムが置かれている周辺情報を外部情報として利用するという点で,人と共生する対話システムの実現に大きく貢献するものである
また,日常の対話からユーザの嗜好などの情報を適切に抽出・推定する技術や,ユーザの感じ方を考慮したシステムの発話決定に関する技術の開発を進めている.さらに,数ヶ月に亘る人同士の対話を収集し,人同士の親密化過程の分析も進めている.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

対話能力の根幹を成す部分について,大規模対話モデルを利用することで,大幅に性能を向上することができた.これにより,従来よりもはるかに複雑な事象や情報を対話モデルの入力として取り扱うことができるようになり,ユーザについての記憶や,対話システム自身の個性を適切に出力に反映できるようになっている.特に,ドライブ中の風景を話題とする対話に取り組み,ロボットとユーザの身の回りの情報の理解に基づく対話が可能であることを示すことができた.
また,A02班の開催する対話ロボットコンペティションを通し,A03班内で東京電機大と連携することで,外部の知識を利用しよりユーザに役立つ情報を提示するための技術開発を進めることができた.日々対話するシステムにとって,対象とする情報は日々更新されるため,外界の全ての情報を内部に保持することは原理的に不可能である.この課題に対する,有効なアプローチを検証することができた.
ユーザとの共生のためには,ユーザ嗜好の推定や,ユーザの価値観の推定,またそれらを考慮した発話生成技術が必要であるが,これらについても順調に開発を進めることができている.さらに,長期間にわたる人同士の対話の分析も進めることができ,来年度に向けた研究の布石を打つことができた.

Strategy for Future Research Activity

大規模対話モデルの活用をさらに進め,特にユーザのモデル化やシステム個性の構築に関する研究,およびそれらを活用した発話生成に関する研究を進める.具体的には,ユーザをモデル化することで,ある文をシステムが発話した場合のユーザの反応やユーザが感じる印象を推定し,それに基づいて,実際に発話する文を切り替えることを検討している.また,ユーザとシステムの間の長期間の対話を保持しておき,それを参照することで,2者間の記憶に基づく対話の実現につなげる.
システム個性の実現について,システムが反射的に応答した内容についての説明生成にも取り組む予定である.これにより,システムがなぜその発話をしたのかを自身の言葉で説明できるようになり,システム自身の意図や欲求の表出につながると考えられる.

Report

(3 results)
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • 2019 Annual Research Report

Research Products

(41 results)

All 2022 2021 2020 2019

All Journal Article (12 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 11 results,  Open Access: 9 results) Presentation (27 results) (of which Int'l Joint Research: 6 results,  Invited: 3 results) Patent(Industrial Property Rights) (2 results) (of which Overseas: 2 results)

  • [Journal Article] A Preliminary Study on Realizing Human - Robot Mental Comforting Dialogue via Sharing Experience Emotionally2022

    • Author(s)
      Fu Changzeng、Deng Qi、Shen Jingcheng、Mahzoon Hamed、Ishiguro Hiroshi
    • Journal Title

      Sensors

      Volume: 22 Pages: 991-991

    • DOI

      10.3390/s22030991

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A Minimal Design of a Human Infant Presence: A Case Study Toward Interactive Doll Therapy for Older Adults With Dementia2021

    • Author(s)
      Sumioka Hidenobu、Yamato Nobuo、Shiomi Masahiro、Ishiguro Hiroshi
    • Journal Title

      Frontiers in Robotics and AI

      Volume: 8 Pages: 1-12

    • DOI

      10.3389/frobt.2021.633378

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Using an Android Robot to Improve Social Connectedness by Sharing Recent Experiences of Group Members in Human-Robot Conversations2021

    • Author(s)
      Fu Changzeng、Liu Chaoran、Ishi Carlos Toshinori、Yoshikawa Yuichiro、Iio Takamasa、Ishiguro Hiroshi
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 6 Pages: 6670-6677

    • DOI

      10.1109/lra.2021.3094779

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Effect of the projection of robot’s talk information on the perception of communicating human2021

    • Author(s)
      Mahzoon Hamed、Okazaki Momoko、Yoshikawa Yuichiro、Ishiguro Hiroshi
    • Journal Title

      Advanced Robotics

      Volume: 35 Pages: 1209-1222

    • DOI

      10.1080/01691864.2021.1964597

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Report of the Case of Constructing Dialogue Design Patterns for Agent System Based on the Standard Dialogue Structure2021

    • Author(s)
      Tominaga Yoshimi、Tanaka Hideki、Matsubara Hitoshi、Ishiguro Hiroshi、Ogawa Kohei
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 36 Issue: 5 Pages: AG21-F_1-11

    • DOI

      10.1527/tjsai.36-5_ag21-f

      10.1527/tjsai.36-5_AG21-F

    • NAID

      130008082556

    • ISSN
      1346-0714, 1346-8030
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Robot That Encourages Self-Disclosure to Reduce Anger Mood2021

    • Author(s)
      Akiyoshi Takuto、Nakanishi Junya、Ishiguro Hiroshi、Sumioka Hidenobu、Shiomi Masahiro
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 6 Pages: 7925-7932

    • DOI

      10.1109/lra.2021.3102326

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Advocating Attitudinal Change Through Android Robot's Intention-Based Expressive Behaviors: Toward WHO COVID-19 Guidelines Adherence2021

    • Author(s)
      Ajibo Chinenye Augustine、Ishi Carlos Toshinori、Ishiguro Hiroshi
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 6 Pages: 6521-6528

    • DOI

      10.1109/lra.2021.3094783

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems2021

    • Author(s)
      Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, Toyomi Meguro
    • Journal Title

      arXiv preprint

      Volume: -

    • Related Report
      2021 Annual Research Report
    • Open Access
  • [Journal Article] A Model of Online Temporal-Spatial Integration for Immediacy and Overrule in Discourse Comprehension2021

    • Author(s)
      Uchida Takahisa、Lair Nicolas、Ishiguro Hiroshi、Dominey Peter Ford
    • Journal Title

      Neurobiology of Language

      Volume: 2 Pages: 83-105

    • DOI

      10.1162/nol_a_00026

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Female-Type Android’s Drive to Quickly Understand a User’s Concept of Preferences Stimulates Dialogue Satisfaction: Dialogue Strategies for Modeling User’s Concept of Preferences2021

    • Author(s)
      Uchida Takahisa、Minato Takashi、Nakamura Yutaka、Yoshikawa Yuichiro、Ishiguro Hiroshi
    • Journal Title

      International Journal of Social Robotics

      Volume: - Pages: 1499-1516

    • DOI

      10.1007/s12369-020-00731-z

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Human interaction behavior modeling using Generative Adversarial Networks2020

    • Author(s)
      Nishimura Yusuke、Nakamura Yutaka、Ishiguro Hiroshi
    • Journal Title

      Neural Networks

      Volume: 132 Pages: 521-531

    • DOI

      10.1016/j.neunet.2020.09.019

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Choice modeling using dot-product attention mechanism2020

    • Author(s)
      Li Mofei、Nakamura Yutaka、Ishiguro Hiroshi
    • Journal Title

      Artificial Life and Robotics

      Volume: 26 Pages: 116-121

    • DOI

      10.1007/s10015-020-00638-y

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Presentation] Automatic Generation of Dialogue on Person's Preferences using WordNet2022

    • Author(s)
      Ife-ebube Okoye, Yutaka Nakamura, Yuichiro Yoshikawa, Hiroshi Ishiguro
    • Organizer
      27th International Symposium on Artificial Life and Robotics
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 知識源との一対多関係を有する対話コーパスによる発話生成2022

    • Author(s)
      金田龍平, 芳賀大地, 杉山弘晃, 酒造正樹, 前田英作
    • Organizer
      言語処理学会第28回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 分類モデルBERTによる不整合生成文の検出について2022

    • Author(s)
      大野瞬, 森脇恵太, 杉山弘晃, 酒造正樹, 前田英作
    • Organizer
      言語処理学会第28回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Transformerによるhallucination errorの事後修正2022

    • Author(s)
      森脇恵太, 大野瞬, 杉山弘晃, 酒造正樹, 前田英作
    • Organizer
      言語処理学会第28回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 猫かぶり対話 (False Modesty Dialogue) システムの検討2022

    • Author(s)
      皆川哲範,前田英作,酒造正樹
    • Organizer
      2022年電子情報通信学会総合大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 対話型質問応答における BERT を用いた知識情報選択2022

    • Author(s)
      芳賀大地,金田龍平,杉山弘晃,酒造正樹,前田英作
    • Organizer
      2022年電子情報通信学会総合大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 「会話のパートナーになる機械」―大規模深層学習で拓く雑談対話システムの新境地―2022

    • Author(s)
      杉山弘晃
    • Organizer
      マルチメディア推進フォーラム 「人に優しいヒューマンインタフェース」
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 多様な話者との自動対話に基づく雑談システムの自動評価2022

    • Author(s)
      佐藤志貴, 岸波洋介, 杉山弘晃, 赤間怜奈, 徳久良子, 鈴木潤
    • Organizer
      言語処理学会年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 複数ユーザの情報を共有する日常対話チャットボットの提案2021

    • Author(s)
      三野星弥, 三野星弥,吉川雄一郎,石黒浩
    • Organizer
      第182回ヒューマンインタフェース学会研究会「コミュニケーション支援および一般(SIG-CE-23)」
    • Related Report
      2021 Annual Research Report
  • [Presentation] インタラクションの振る舞い識別システムに対するPretextタスクに関する検討2021

    • Author(s)
      阿多 健史郎, 西村 優佑, 岡留有哉, 中村泰, 石黒浩
    • Organizer
      電子情報通信学会 ニューロコンピューティング研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] インタラクションにおける顔動作対生成モデルの開発2021

    • Author(s)
      髙城 頌太, 中村 泰, 岡留有哉, 西村 優佑, 石黒 浩
    • Organizer
      電子情報通信学会 ニューロコンピューティング研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Not all inference is the same : Dissociable forms of human inference during narrative comprehension revealed by NLP language models2021

    • Author(s)
      Takahisa Uchida, Nicolas Lair, Hiroshi Ishiguro, Peter Ford Dominey
    • Organizer
      13th Annual Meeting of the Society for the Neurobiology of Language (SNL2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 日常対話のユーザ情報取得におけるエラーリカバリ手法の検討2021

    • Author(s)
      大平義輝, 内田貴久, 港隆史,石黒浩
    • Organizer
      2021年度 人工知能学会全国大会 (第35回)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 複数の目標の話題に誘導する対話のための話題戦略並列実行アーキテクチャ2021

    • Author(s)
      挾間 智久, 挾間智久, 中西惇也, 馬場惇, 吉川雄一郎, 石黒浩
    • Organizer
      第27回ロボティクスシンポジア
    • Related Report
      2021 Annual Research Report
  • [Presentation] 学習データの違いに対する Transformer Encoder-decoder 対話モデルの応答変化の分析2021

    • Author(s)
      杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥, 目黒豊美, 中嶋秀治
    • Organizer
      人工知能学会 言語・音声理解と対話処理研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 気軽に雑談できるロボットの実現をめざして2021

    • Author(s)
      杉山弘晃
    • Organizer
      CNR研究会 IoTワークショップ
    • Related Report
      2021 Annual Research Report
  • [Presentation] 大規模Transformer encoder-decoder モデルに基づく日本語雑談システムの到達点と課題2021

    • Author(s)
      杉山弘晃
    • Organizer
      音響学会秋季大会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] Fine-tuning a pre-trained Transformer-based encoder-decoder model with user-generated question-answer pairs to realize character-like chatbots2021

    • Author(s)
      Koh Mitsuda, Ryuichiro Higashinaka, Hiroaki Sugiyama, Masahiro, Mizukami, Tetsuya Kinebuchi, Ryuta, Nakamura, Noritake Adachi and Hidetoshi Kawabata
    • Organizer
      IWSDS
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Constructive Approach for Interactive Robots and the Fundamental Issues2020

    • Author(s)
      Ishiguro Hiroshi
    • Organizer
      HRI '21: Proceedings of the 2021 ACM/IEEE International Conference on Human-Robot Interaction
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Rationale for Using Chat-Oriented Dialogue System’s Experience to Convey Empathy2020

    • Author(s)
      H. Narimatsu, H. Sugiyama, M. Mizukami and T. Arimoto
    • Organizer
      The Sixth Linguistic and Cognitive Approaches to Dialog Agents
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Transformer encoder-decoder モデルによる趣味雑談システムの構築2020

    • Author(s)
      杉山弘晃、 成松宏美、 水上雅博、 有本庸浩、 千葉祐弥、 目黒豊美、 中嶋秀治
    • Organizer
      人工知能学会 言語・音声理解と対話処理研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 商業施設における商品推薦ロボットの実体性の効果の検証2020

    • Author(s)
      酒井和紀、中村泰、吉川雄一郎、石黒浩
    • Organizer
      第38回日本ロボット学会学術講演会
    • Related Report
      2020 Annual Research Report
  • [Presentation] A model of on-line temporal-spatial integration for immediacy and overrule in discourse comprehension2020

    • Author(s)
      P. Ford Dominey, T. Uchida, N. Lair, H. Ishiguro
    • Organizer
      Society for the Neurobiology of Language (SNL2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 話者情報を考慮する注意機構を用いた応答文生成手法の検討2020

    • Author(s)
      水上雅博、杉山弘晃, 成松宏美、有本庸浩、東中竜一郎
    • Organizer
      2021年度 第35回人工知能学会全国大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Transformer encoder-decoderモデルベース雑談システムの学習方法に対する主観評価の変動分析2020

    • Author(s)
      杉山弘晃、 成松宏美、 水上雅博、 有本庸浩、 千葉祐弥、 目黒豊美、 中嶋秀治
    • Organizer
      2021年度 第35回人工知能学会全国大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 自然な流れに沿って対話を進めるアジェンダベース雑談対話システム2019

    • Author(s)
      杉山弘晃, 成松宏美、水上雅博、有本庸浩
    • Organizer
      第10回対話システムシンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 自らの体験に基づき雑談する対話システム2019

    • Author(s)
      成松宏美、杉山弘晃, 水上雅博、有本庸浩
    • Organizer
      第10回対話システムシンポジウム
    • Related Report
      2019 Annual Research Report
  • [Patent(Industrial Property Rights)] 対話方法,対話システム,対話装置,およびプログラム2020

    • Inventor(s)
      水上雅博、杉山弘晃, 成松宏美、有本庸浩、東中竜一郎
    • Industrial Property Rights Holder
      水上雅博、杉山弘晃, 成松宏美、有本庸浩、東中竜一郎
    • Industrial Property Rights Type
      特許
    • Filing Date
      2020
    • Related Report
      2020 Annual Research Report
    • Overseas
  • [Patent(Industrial Property Rights)] ユーザ発話の理解とシステムの体験に基づく共感発話と関連質問の生成2020

    • Inventor(s)
      成松宏美、杉山弘晃, 水上雅博、有本庸浩
    • Industrial Property Rights Holder
      成松宏美、杉山弘晃, 水上雅博、有本庸浩
    • Industrial Property Rights Type
      特許
    • Filing Date
      2020
    • Related Report
      2019 Annual Research Report
    • Overseas

URL: 

Published: 2019-07-04   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi