• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Emotional Expression Emphasizing System to Enhance the Social Presence of AI Agents

Research Project

Project/Area Number 19K12081
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionKyoto Institute of Technology

Principal Investigator

Tanaka Kazuaki  京都工芸繊維大学, 情報工学・人間科学系, 准教授 (70721877)

Project Period (FY) 2019-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords音声対話エージェント / 感情表現 / 音楽 / ソーシャルプレゼンス / ロボットハンド / 身体接触 / 音声アシスタント / HAI / HRI / 社会的存在感
Outline of Research at the Start

ユーザを音声対話で支援するAIエージェントは社会的存在感(人間らしい性質を感じさせる度合い)が低く,多くの人が話しかけることに抵抗感を持っている.社会的存在感を強化する基本的な方法は外見や振る舞いを人間らしくすることであるが,本研究では,視覚的にエージェントを提示することが適切ではない運転中等の状況であっても有効な手法を開発する.その手法として,合成音声による感情表現をBGM等の音情報で強調することで,より感情豊かなエージェントをユーザに想像させる.まず,有効な音情報とユーザの想像力を喚起する条件を心理実験で明らかにする.さらに,深層学習技術を応用し感情を強調する音情報の自動生成に取り組む.

Outline of Final Research Achievements

The purpose of this research is to emphasize the emotional expressions of AI agents with various information and to enhance their social presence. First, the effect of emphasizing emotional expressions using sound information was verified. It is clarified that emphasizing the emotional expression of the agent's synthesized voice with BGM makes it easier to convey the emotion, and as a result, increases the social presence. Next, the effect of tactile information was verified. In the experiment, subjects had a conversation while holding hands with a conversation partner through a robotic hand. The partner performed operations to grip the participants' hand strongly at the part where the partner's emotions were heightened. We found that the movement of the robotic hand according to the flow of conversation makes the subjects feel that the robotic hand was the partner's hand, and that the feeling of gripping with the partner's hand increased the social presence.

Academic Significance and Societal Importance of the Research Achievements

AIエージェントはスマートフォンやスマートスピーカだけでなく,電子レンジや車など様々な家電に搭載されている.そのようなエージェントとの対話は,ユーザが作業中であっても使用できるように音声が使用されているが,モノに話しかける羞恥心によってその機能が活用されていない場合がある.本研究の成果の社会的意義は,エージェントの感情表現を様々な情報で強調することで社会的存在感を高め,話しかける羞恥心を軽減できることを示した点である.そして,感情表現を強調する手段として,BGMやSEのような音情報だけでなく視覚や触覚等も有効であることを示し,モダリティに依存しないことを明らかにした点が学術的意義である.

Report

(5 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (30 results)

All 2023 2022 2021 2020 2019

All Journal Article (6 results) (of which Peer Reviewed: 6 results) Presentation (21 results) (of which Int'l Joint Research: 5 results) Patent(Industrial Property Rights) (3 results)

  • [Journal Article] Rhythmical Movement of a Teleoperated Robot Enhances Physical and Spatial Senses of Unity2020

    • Author(s)
      小原宗 一郎, 髙橋 ともみ, 田中 一晶, 小川 浩平, 吉川 雄一郎, 石黒 浩, 岡 夏樹
    • Journal Title

      情報処理学会論文誌

      Volume: 61 Issue: 4 Pages: 817-828

    • DOI

      10.20729/00204232

    • NAID

      170000181824

    • Year and Date
      2020-04-15
    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Deformation and Movement of the Surface Connecting a Remote Space and a Local Space Enhance the Social Telepresence2020

    • Author(s)
      大西 裕也, 小峯 俊彦, 田中 一晶, 中西 英之
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J103-D Issue: 3 Pages: 131-138

    • DOI

      10.14923/transinfj.2019HAP0022

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2020-03-01
    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Adaptive Mixed-Initiative Maintains Players’ Willingness to Talk with NPCs2020

    • Author(s)
      髙橋 ともみ,田中 一晶,岡 夏樹
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 35 Issue: 1 Pages: DSI-A_1-10

    • DOI

      10.1527/tjsai.DSI-A

    • NAID

      130007779292

    • ISSN
      1346-0714, 1346-8030
    • Year and Date
      2020-01-01
    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] 対話エージェントの合成音声への視覚的/音楽的感情表現付与による人間らしさの強化2020

    • Author(s)
      髙橋ともみ,田中一晶,小林賢一郎,岡夏樹
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: 22(3) Pages: 305-316

    • NAID

      130007890668

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] ビデオ会議画面貫通オブジェクトによるソーシャルテレプレゼンスの強化2020

    • Author(s)
      大西 裕也, 田中 一晶, 中西 英之
    • Journal Title

      情報処理学会論文誌

      Volume: 61(2) Pages: 254-261

    • NAID

      170000181679

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Maintaining the Sense of Agency in Semi-Autonomous Robot Conferencing2019

    • Author(s)
      Kazuaki Tanaka, Kota Takenouchi, Kohei Ogawa, Yuichiro Yoshikawa, Shuichi Nishio, Hiroshi Ishiguro
    • Journal Title

      Future Internet

      Volume: 11(7) Issue: 7 Pages: 143-143

    • DOI

      10.3390/fi11070143

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Presentation] 手の接近及び多様な触覚刺激を識別する柔軟な触覚センサの開発2023

    • Author(s)
      田中 遼祐, 岡 夏樹, 田中 一晶
    • Organizer
      情報処理学会 インタラクション2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] Comparing Neural Network-Driven Algorithms that Determine Interest Similarity for People-to-people Recommendations2023

    • Author(s)
      Ana Quelhas, Natsuki Oka, Kazuaki Tanaka
    • Organizer
      電子情報通信学会 HCS研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ハンドトラッキングのための隠消現実感技術を用いた手の画像復元2023

    • Author(s)
      川上 童夢, 田中 一晶
    • Organizer
      電子情報通信学会 HCS研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 生活環境に潜む子どもの事故要因検知システムの開発2023

    • Author(s)
      平居 珠実, 岡 夏樹, 田中 一晶
    • Organizer
      電子情報通信学会 HCS研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] CGキャラクタとの握手を可能にするロボティックVRインタフェースの開発2023

    • Author(s)
      髙木 将, 田中一晶
    • Organizer
      電子情報通信学会 HCS研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Automatic Utterance Selection Based on Prosodic Features of Children's Vocalizations, Advances in Artificial Intelligence2022

    • Author(s)
      Yuki Kubo, Natsuki Oka, Subaru Hanada, Kazuaki Tanaka, Tomomi Takahashi
    • Organizer
      JSAI 2021. Advances in Intelligent Systems and Computing
    • Related Report
      2021 Research-status Report
  • [Presentation] Robot Mediated Handholding Combined with a Mobile Video Call Makes the Users Feel Nearer and Closer2021

    • Author(s)
      Kazuaki Tanaka, Reo Mayuzumi, Tomomi Takahashi, Sho Takaki, Natsuki Oka
    • Organizer
      International Conference on Human-Agent Interaction (HAI2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Melodic Emotional Expression Increases Ease of Talking to Spoken Dialog Agents, International Conference on Human-Agent Interaction (HAI2021)2021

    • Author(s)
      Tomomi Takahashi, Kazuaki Tanaka, Natsuki Oka
    • Organizer
      International Conference on Human-Agent Interaction (HAI2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] ビデオ通話アプリの相手映像と分離/結合した身体接触デバイスの効果検証2021

    • Author(s)
      田中一晶, 黛礼雄, 髙橋ともみ, 髙木将, 岡夏樹
    • Organizer
      インタラクション2021
    • Related Report
      2020 Research-status Report
  • [Presentation] 不均衡データに適した学習モデルのアンサンブルによる生活習慣病の発症予測2021

    • Author(s)
      恒川充, 岡夏樹, 田中一晶, 荒木雅弘, 新谷元司, 吉川昌孝
    • Organizer
      第48回知能システムシンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] 助言付きビデオゲーム環境における助言の意味とゲームプレイの同時学習2021

    • Author(s)
      宮尾愛平, 岡夏樹, 田中一晶
    • Organizer
      第48回知能システムシンポジウム
    • Related Report
      2020 Research-status Report
  • [Presentation] 子ども向け選択式音声対話システムにおける発話選択の学習2021

    • Author(s)
      花田昴,岡夏樹,田中一晶,髙橋ともみ,久保祐喜
    • Organizer
      HAIシンポジウム2021
    • Related Report
      2020 Research-status Report
  • [Presentation] 疑似的な手繋ぎを再現するロボットハンドの開発2020

    • Author(s)
      大西裕也, 黛礼雄, 田中一晶, 一口銀, 中西英之
    • Organizer
      人工知能学会 言語・音声理解と対話処理研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 躾インタラクションによる非生物型ロボットへのペットらしさの付与2020

    • Author(s)
      渡邊 裕太, 大西 裕也, 田中 一晶, 中西 英之
    • Organizer
      インタラクション2020
    • Related Report
      2019 Research-status Report
  • [Presentation] 音声対話エージェントの社会的存在感向上のための感情表現の音楽的強調2020

    • Author(s)
      髙橋 ともみ, 田中 一晶, 小林 賢一郎, 岡 夏樹
    • Organizer
      HAIシンポジウム2020
    • Related Report
      2019 Research-status Report
  • [Presentation] 権利と責任を有するAIは社会に受け入れられるか2020

    • Author(s)
      岡 夏樹, 畑中 佑介, 田中 一晶
    • Organizer
      HAIシンポジウム2020
    • Related Report
      2019 Research-status Report
  • [Presentation] Trainability Leads to Animacy: a Case of a Toy Drone2019

    • Author(s)
      Yuta Watanabe, Yuya Onishi, Kazuaki Tanaka, Hideyuki Nakanishi
    • Organizer
      International Conference on Human-Agent Interaction (HAI2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Sales Talk of a Robot at a Flanking Position Gives Positive Impressions to a Human Customer2019

    • Author(s)
      Shoto Fukui, Mia Hamada, Taiki Kusano, Shohei Kodera, Rikimaru Tanigo, Kazuaki Tanaka, Natsuki Oka, Yukiko Nishizaki
    • Organizer
      International Conference on Human-Agent Interaction (HAI2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Understanding Dialogue Acts by Bayesian Inference and Reinforcement Learning2019

    • Author(s)
      Akane Matsushima, Natsuki Oka, Chie Fukada, Kazuaki Tanaka
    • Organizer
      International Conference on Human-Agent Interaction (HAI2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 子犬かハエか:ドローンに対するアニマシー知覚を変容させる躾インタラクション2019

    • Author(s)
      渡邊 裕太, 大西 裕也, 田中 一晶, 中西 英之
    • Organizer
      第33回人工知能学会全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] Melodic Emotional Expression:音楽重畳によるAIアシスタントの社会的存在感の強化2019

    • Author(s)
      髙橋ともみ, 田中一晶, 岡夏樹
    • Organizer
      音学シンポジウム2019
    • Related Report
      2019 Research-status Report
  • [Patent(Industrial Property Rights)] ロボットハンド2022

    • Inventor(s)
      田中 一晶
    • Industrial Property Rights Holder
      国立大学法人京 都工芸繊維大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2022-083635
    • Filing Date
      2022
    • Related Report
      2022 Annual Research Report
  • [Patent(Industrial Property Rights)] 関節の可動構造2021

    • Inventor(s)
      田中一晶
    • Industrial Property Rights Holder
      国立大学法人京都工芸繊維大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2021-197422
    • Filing Date
      2021
    • Related Report
      2021 Research-status Report
  • [Patent(Industrial Property Rights)] 多関節指を備えたロボットハンド2021

    • Inventor(s)
      田中一晶
    • Industrial Property Rights Holder
      国立大学法人京都工芸繊維大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2021-033983
    • Filing Date
      2021
    • Related Report
      2020 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi