• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Embodied entrainment dialogue agent for pleasant emotion induction

Publicly Offered Research

Project AreaStudies on intelligent systems for dialogue toward the human-machine symbiotic society
Project/Area Number 20H05569
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionOkayama Prefectural University

Principal Investigator

渡邉 富夫  岡山県立大学, 情報工学部, 特任教授 (30167150)

Project Period (FY) 2020-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥10,790,000 (Direct Cost: ¥8,300,000、Indirect Cost: ¥2,490,000)
Fiscal Year 2021: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Fiscal Year 2020: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Keywordsヒューマンインタフェース / ヒューマンインタラクション / 対話エージェント / コミュニケーション / 身体的引き込み
Outline of Research at the Start

対話者に傾聴されている実感を与え、対話を楽しむことのできる対話ロボット・システムが強く望まれている。本研究の目標は、身体的引き込みによりユーザの発話を促しコミュニケーションが活性化され、話すと元気になり対話を楽しめる音声対話エージェントの設計・開発である。状況に応じた自然なインタラクションからユーザの思いを受け取り、共有し、かかわりを深めていくことでユーザが心地よく感じる快情動を誘発する対話システムの実現を目指す。

Outline of Annual Research Achievements

オンライン及び対面でのシステム開発・解析・評価を再検討し、音声駆動型身体引き込みキャラクタInterActorおよび身体的インタラクションロボットInterRobot,Sotaに対して雑談対話システムを組み込み、対話者の音声に対して発話応答するエージェントを開発展開した。とくに音声対話ロボットSotaに対して発話音声からうなずきなどの身体的引き込み動作を自動生成するインタラクションモデルを導入し、対話者の音声に対して発話応答するシステムを開発し、各種対話実験プラットフォームとして応用展開した。言語的なインタラクションを行うシステム開発として、発話単語から生成された画像やオブジェクトが引き込み反応することで発話を促進するシステムを開発しており、高齢者施設においてシステムの有効性を評価した。また本システムにSotaを組み込んだ発話支援システムを新たに開発した。さらに自然な応答動作を生成するために、身体的引き込み反応のタイミング制御とともに、うなずき動作の多様性に着目し、発話支援システムを開発し、有効性を検証した。とくにうなずき動作そのものも違いが、印象にどのような違いをもたらすのか調査した。うなずき動作を構成する要素として、「うなずきの回数」「うなずきの深さ」「1回のうなずき動作に要する時間」の3要素に注目し、うなずき動作の類型化を行い、同じような印象を多様なうなずき動作で生成できることを示すとともに、印象評価に基づいたエージェントを用いてコミュニケーション支援効果を示した。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (23 results)

All 2022 2021 2020 Other

All Int'l Joint Research (2 results) Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (15 results) (of which Int'l Joint Research: 5 results,  Invited: 6 results) Remarks (2 results)

  • [Int'l Joint Research] Bond University, iCAM(オーストラリア)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] Bond University, iCAM(オーストラリア)

    • Related Report
      2020 Annual Research Report
  • [Journal Article] A body contact-driven pupil response pet-robot for enhancing affinity2021

    • Author(s)
      Yoshihiro Sejima, Yoichiro Sato, Tomio Watanabe
    • Journal Title

      Journal of Advanced Mechanical Design, Systems, and Manufacturing

      Volume: 15 Issue: 5 Pages: JAMDSM0061-JAMDSM0061

    • DOI

      10.1299/jamdsm.2021jamdsm0061

    • NAID

      130008086237

    • ISSN
      1881-3054
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Effects of pupil area on impression formation in pupil expression media2021

    • Author(s)
      瀬島吉裕,川本宙輝,佐藤洋一郎,渡辺富夫
    • Journal Title

      Transactions of the JSME (in Japanese)

      Volume: 87 Issue: 903 Pages: 21-00187-21-00187

    • DOI

      10.1299/transjsme.21-00187

    • NAID

      130008120036

    • ISSN
      2187-9761
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A speech-driven embodied entrainment character system with a delayed voice back-channel based on negative emotional expression utterances2021

    • Author(s)
      西田 麻希子,石井 裕,渡辺 富夫
    • Journal Title

      Transactions of the JSME (in Japanese)

      Volume: 87 Issue: 897 Pages: 20-00104-20-00104

    • DOI

      10.1299/transjsme.20-00104

    • NAID

      130008043312

    • ISSN
      2187-9761
    • Related Report
      2021 Annual Research Report 2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Ordered interpersonal synchronisation in ASD children via robots2020

    • Author(s)
      Giannopulu Irini、Etournaud Aude、Terada Kazunori、Velonaki Mari、Watanabe Tomio
    • Journal Title

      Scientific Reports

      Volume: 10 Issue: 1 Pages: 1-10

    • DOI

      10.1038/s41598-020-74438-6

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 人を引き込む身体的インタラクション・コミュニケーション技術2022

    • Author(s)
      渡辺富夫
    • Organizer
      動的画像処理実利用化ワークショップDIA2022特別講演
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] Avatar Twin using shadow avatar in avatar-mediated communication2021

    • Author(s)
      Yutaka Ishii, Satoshi Kurokawa and Tomio Watanabe
    • Organizer
      The 23rd International Conference on Human-Computer Interaction (HCII2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Development of a Presentation Support System using Group Pupil Response Interfaces2021

    • Author(s)
      Yoshihiro Sejima, Yoichiro Sato and Tomio Watanabe
    • Organizer
      The 23rd International Conference on Human-Computer Interaction (HCII2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Evaluation of entrainment of heart rate and brain activation depending on the listener's nodding response and the conversation situation2021

    • Author(s)
      Tomofumi Sakata, Keiichi Watanuki, Kazunori Kaede and Tomio Watanabe
    • Organizer
      The 12th International Conference on Applied Human Factors and Ergonomics (AHFE 2021) and its affiliated conferences
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 身体的引き込みによるヒューマンロボットインタラクション2021

    • Author(s)
      渡辺富夫
    • Organizer
      日本機械学会ロボティクス・メカトロニクス部門関西地区特別講演会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 身体的引き込みによるアバターコミュニケーション2021

    • Author(s)
      渡辺富夫
    • Organizer
      日本バーチャルリアリティ学会VRと超臨場感研究会特別講演
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 心が通う身体的コミュニケーションシステム2021

    • Author(s)
      渡辺富夫
    • Organizer
      日本精密工学会総合システム専門委員会特別講演会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 人型3Dモデルの多様なうなずき動作に対する印象評価2021

    • Author(s)
      北村 美和子,黒川 智司, 石井 裕, 渡辺 富夫
    • Organizer
      ヒューマンインタフェース学会研究報告集
    • Related Report
      2021 Annual Research Report
  • [Presentation] 発話速度に応じた反応動作を行う音声駆動型身体引き込みキャラクタの評価2021

    • Author(s)
      横田 真斗,久富 彩音,石井 裕,渡辺 富夫
    • Organizer
      ヒューマンインタフェース学会研究報告集
    • Related Report
      2021 Annual Research Report
  • [Presentation] 話者適応子をミラーリングした身体引き込みキャラクタによる傾聴システムの開発2021

    • Author(s)
      蔵本 涼太,石井 裕,渡辺 富夫,片岡 真吾
    • Organizer
      ヒューマンインタフェース学会研究報告集
    • Related Report
      2021 Annual Research Report
  • [Presentation] Avatar Twin using shadow avatar in avatar-mediated communication2021

    • Author(s)
      Yutaka Ishii, Satoshi Kurokawa and Tomio Watanabe
    • Organizer
      Proc. of the 23rd International Conference on Human-Computer Interaction (HCII2021)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Evaluation of entrainment of heart rate and brain activation depending on the listener's nodding response and the conversation situation2021

    • Author(s)
      Tomofumi Sakata, Keiichi Watanuki, Kazunori Kaede and Tomio Watanabe
    • Organizer
      Proc. of the 12th International Conference on Applied Human Factors and Ergonomics (AHFE 2021) and its affiliated conferences
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 心が通う身体的コミュニケーションシステム2021

    • Author(s)
      渡辺富夫
    • Organizer
      電子情報通信学会2021年総合大会企画「NP-1 複雑コミュニケーションサイエンスと人と機械の調和するシステムデザイン」、21G1025
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] 対面・画面越しの会話におけるうなずきの有無による身体的引き込み現象の脳賦活解析2020

    • Author(s)
      坂田 智章,綿貫 啓一,楓 和憲,渡辺 富夫
    • Organizer
      第21回計測自動制御学会システムインテグレーション部門講演会、 3F1-12、pp.2867-2871
    • Related Report
      2020 Annual Research Report
  • [Presentation] 身体的引き込みに基づく対話場における感性認知2020

    • Author(s)
      渡辺富夫
    • Organizer
      日本機械学会 2020 年度年次大会 先端技術フォーラム講演論文集、F12103
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Remarks] 岡山県立大学情報工学部ヒューマンインタフェース研究室

    • Related Report
      2021 Annual Research Report
  • [Remarks] 岡山県立大学情報工学部ヒューマンインタフェース研究室

    • Related Report
      2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi