対話を通した性格推定に基づく個人適応型情報提供ロボットの実現

• Project/Area Number: 19J01290
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 国内
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Keio University
• Principal Investigator: 木本 充彦 慶應義塾大学, 理工学部, 特別研究員(PD)
• Project Period (FY): 2019-04-25 – 2022-03-31
• Project Status: Completed (Fiscal Year 2021)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: 知能ロボティクス / ヒューマンロボットインタラクション / パーソナリティ / 性格特性 / 引き込み現象

Outline of Research at the Start

本研究では、人のロボットへの引き込まれ方と性格との関係性を明らかにし、対話の過程で人の性格に応じて動的に情報提供方法を調整するロボットシステムの実現を目的とする。まず、対話時に相手の発話や動作を無意識に模倣しようとする引き込み現象に着目し、人がロボットの言語・非言語情報にどのように引き込まれるのか、人の性格との関係性をモデル化する。次に、性格と引き込まれ方の関係性モデルに基づく人の性格推定手法を確立する。そして、推定される性格に応じてロボットの発話内容や対話展開を調整することで、人々の情報に対する関心を喚起するロボットの対話戦略を確立する。

Outline of Annual Research Achievements

本年度は，前年度までに構築した人の性格を発話音声特徴量から推定するモデルを利用し，話し方から受ける人の性格に関する印象，見かけの性格を変化させるための発話支援システムを構築し，評価した．具体的には，スピーチ音声を入力としてその見かけの性格を推定し，発話者が希望する性格が反映されたスピーチを行う為に，どのように話し方を変化させればよいのか，アドバイス情報を提供するシステムを構築した．オフライン実験の結果，提案システムを利用することで，システムを利用せずにスピーチした場合と比較して，選択された性格特性らしいスピーチを行えることが明らかになった．またオフライン実験で得られたスピーチ音声の印象を評価するオンライン実験の結果，システムを利用して得られたスピーチ音声は，利用しない場合と比較してより自然に聞こえ，また，より好ましいと評価されることも明らかになった．他にロボットによる情報提供方法に関わる研究として，ロボットがモノに触れながら説明することの効果を検証する実験も行った．実験の結果，ロボットが説明対象に触れながら説明することで，人はロボットが説明対象をかわいいと感じているという印象受け，また同時に人が説明対象に抱くかわいいという感情が高まることが明らかになった．これらは，ロボットによる効果的な情報提供実現に向けて有用な知見である．成果発表として，本年度までに得られた成果を取りまとめ，複数の国際論文誌に採択された．

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Kawaii emotions in presentations: Viewing a physical touch affects perception of affiliative feelings of others toward an object (2022)
  • Author(s): Okada, Y., Kimoto, M., Iio, T., Shimohara, K., Nittono, H., & Shiomi, M.
  • Journal Title: PLOS ONE Volume: 17 Issue: 3 Pages: e0264736-e0264736
  • DOI: 10.1371/journal.pone.0264736
  • Peer Reviewed / Open Access
• [Journal Article] Tactile stimulus is essential to increase motivation for touch interaction in virtual environment (2021)
  • Author(s): Kana Higashino, Mitsuhiko Kimoto, Takamasa Iio, Katsunori Shimohara, Masahiro Shiomi
  • Journal Title: Advanced Robotics Volume: 35 Issue: 17 Pages: 1043-1053
  • DOI: 10.1080/01691864.2021.1967780
  • Peer Reviewed / Open Access
• [Journal Article] Robots as an interactive-social medium in storytelling to multiple children (2021)
  • Author(s): Yumiko Tamura, Masahiro Shiomi, Mitsuhiko Kimoto, Takamasa Iio, Katsunori Shimohara, Norihiro Hagita
  • Journal Title: Interaction Studies Volume: 22 Issue: 1 Pages: 110-140
  • DOI: 10.1075/is.18033.tam
  • Peer Reviewed / Open Access
• [Journal Article] Two is better than one: verification of the effect of praise from two robots on pre-school children’s learning time (2021)
  • Author(s): Masahiro Shiomi, Yumiko Tamura, Mitsuhiko Kimoto, Takamasa Iio, Reiko Akahane-Yamada, Katsunori Shimohara
  • Journal Title: Advanced Robotics Volume: 35 Issue: 19 Pages: 1132-1144
  • DOI: 10.1080/01691864.2021.1970019
  • Peer Reviewed / Open Access
• [Journal Article] Modeling of Pre-Touch Reaction Distance for Faces in a Virtual Environment (2021)
  • Author(s): Dario Alfonso Cuello Mejia, Aoba Saito, Mitsuhiko Kimoto, Takamasa Iio, Katsunori Shimohara, Hidenobu Sumioka, Hiroshi Ishiguro, Masahiro Shiomi
  • Journal Title: Journal of Information Processing Volume: 29 Issue: 0 Pages: 657-666
  • DOI: 10.2197/ipsjjip.29.657
  • NAID: 130008104519
  • ISSN: 1882-6652
  • Peer Reviewed / Open Access
• [Journal Article] Coordinating Entrainment Phenomena: Robot Conversation Strategy for Object Recognition (2021)
  • Author(s): Mitsuhiko Kimoto, Takamasa Iio, Masahiro Shiomi, Katsunori Shimohara
  • Journal Title: Applied Sciences Volume: 11 Issue: 5 Pages: 2358-2358
  • DOI: 10.3390/app11052358
  • Peer Reviewed / Open Access
• [Journal Article] Two is better than one: Social rewards from two agents enhance offline improvements in motor skills more than single agent (2020)
  • Author(s): Shiomi Masahiro、Okumura Soto、Kimoto Mitsuhiko、Iio Takamasa、Shimohara Katsunori
  • Journal Title: PLOS ONE Volume: 15 Issue: 11 Pages: e0240622-e0240622
  • DOI: 10.1371/journal.pone.0240622
  • Peer Reviewed / Open Access
• [Journal Article] How Can Robot's Gaze Ratio and Body Direction Show an Awareness of Priority to the People With Whom it is Interacting? (2019)
  • Author(s): Arai Honoka、Kimoto Mitsuhiko、Iio Takamasa、Shimohara Katsunori、Matsumura Reo、Shiomi Masahiro
  • Journal Title: IEEE Robotics and Automation Letters Volume: 4 Issue: 4 Pages: 3798-3805
  • DOI: 10.1109/lra.2019.2929992
  • Peer Reviewed
• [Presentation] ロボット間の対話に基づく合意形成が人の思考に与える影響 (2022)
  • Author(s): 板原 宏樹，木本 充彦，飯尾 尊優，下原 勝憲，塩見 昌裕
  • Organizer: インタラクション2022
• [Presentation] エージェントの視線動作にユーザが抱く違和感予測モデル「PredGaze」の提案 (2020)
  • Author(s): 大塚洋平, 秋田祥平, 奥岡耕平, 木本充彦, 今井倫太
  • Organizer: 2020年度人工知能学会全国大会（第34回）
• [Presentation] PredGaze: A Incongruity Prediction Model for User's Gaze Movement (2020)
  • Author(s): Yohei Otsuka, Shohei Akita, Kohei Okuoka, Mitsuhiko Kimoto, Michita Imai
  • Organizer: 29th IEEE International Conference on Robot and Human Interactive Communication
  • Int'l Joint Research
• [Presentation] Effects of Touch Behaviors and Whispering Voices in Robot-Robot Interaction for Information Providing Tasks (2020)
  • Author(s): Yuka Okada, Riko Taniguchi, Akihiro Tatsumi, Masashi Okubo, Mitsuhiko Kimoto, Takamasa Iio, Katsunori Shimohara, Masahiro Shiomi
  • Organizer: 29th IEEE International Conference on Robot and Human Interactive Communication
  • Int'l Joint Research
• [Presentation] Can a Robot's Touches Express the Feeling of Kawaii toward an Object? (2020)
  • Author(s): Yuka Okada, Mitsuhiko Kimoto, Takamasa Iio, Katsunori Shimohara, Hiroshi Nittono, Masahiro Shiomi
  • Organizer: 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems
  • Int'l Joint Research
• [Presentation] 接触を伴う情報提示は説明対象の「かわいい」印象を強くするか？ (2020)
  • Author(s): 岡田優花，木本充彦，飯尾尊優，下原勝憲，塩見昌裕
  • Organizer: インタラクション2020
• [Presentation] グループ対話における人のロボットへの語彙の同調傾向 (2019)
  • Author(s): 木本充彦，飯尾尊優，今井倫太，塩見昌裕
  • Organizer: ヒューマンインタフェースシンポジウム2019
• [Presentation] ロボットの身体動作制御による対話相手に応じた優先度合いの表現法 (2019)
  • Author(s): 荒井ほのか，木本充彦，飯尾尊優，松村礼央，塩見昌裕，下原勝憲
  • Organizer: ヒューマンインタフェースシンポジウム2019
• [Presentation] Lexical Entrainment in Multi-party Human-Robot Interaction (2019)
  • Author(s): Mitsuhiko Kimoto，Takamasa Iio，Michita Imai，Masahiro Shiomi
  • Organizer: The Eleventh International Conference on Social Robotics
  • Int'l Joint Research