Cognitive Interaction Model of Interaction Gap in Human-Robot Interaction

• Project/Area Number: 16H02884
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Intelligent robotics
• Research Institution: Keio University
• Principal Investigator: Imai Michita 慶應義塾大学, 理工学部(矢上), 教授 (60348828)
• Co-Investigator(Kenkyū-buntansha): 小野 哲雄 北海道大学, 情報科学研究院, 教授 (40343389) ; 中臺 一博 東京工業大学, 工学院, 特任教授 (70436715)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥16,250,000 (Direct Cost: ¥12,500,000、Indirect Cost: ¥3,750,000); Fiscal Year 2019: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000); Fiscal Year 2018: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000); Fiscal Year 2017: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000); Fiscal Year 2016: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
• Keywords: 知能ロボティクス / 知能機械 / 認知科学

Outline of Final Research Achievements

Our project studied communication between humans and robots from the viewpoint of timing and gap to achieve natural communication. The first result was to develop a method for estimating the tiredness that a person feels when communicating with a robot. Our method was able to estimate the tiredness of communication by detecting the direction of the human face and improve the quality of the conversation of the robot. Secondly, we constructed a method to imitate human body movements in real-time. Previous researches used a time delay to prevent humans from noticing the body movement imitation. Our study devised a method to change the size of body movement imitation. Our method was able to improve communication with people by imitating body movements.

Academic Significance and Societal Importance of the Research Achievements

本研究で開発した手法は、人がロボットとのコミュニケーションをどのように意味付けるかの観点から、調査を行い、それに基づいて認識手法、行動生成手法を実現したところである。実験参加者にロボットとのコミュニケーション中の自分の心理状態を自信のビデオを閲覧してもらい構築したモデルは単純にセンサで客観的に計測したものでは得られるものではなく、人とロボットのコミュニケーションの質の向上に大きく貢献するものである。

Research Products

• [Journal Article] Reactive Chameleon: A Method to Mimic Conversation Partner’s Body Sway for a Robot (2020)
  • Author(s): Ryosuke Hasumoto, Kazuhiro Nakadai, Michita Imai
  • Journal Title: International Journal of Social Robotics Volume: 12 Issue: 1 Pages: 239-258
  • DOI: 10.1007/s12369-019-00557-4
  • Peer Reviewed
• [Journal Article] ロボットが高齢者と長期関係性を構築するための 対話に基づく非同期コミュニケーション (2020)
  • Author(s): 松元 崇裕 , 松村 成宗 , 渡部 智樹 , 今井 倫太
  • Journal Title: 情報処理学会論文誌 Volume: 61 Pages: 181-199
  • NAID: 170000181673
  • Peer Reviewed
• [Journal Article] Special issue on robot and human interactive communication (2019)
  • Author(s): Kazuhiro Nakadai, Emilia I. Barakova, Michita Imai, Tetsunari Inamura
  • Journal Title: Advanced Robotics Volume: 33(7-8) Issue: 7-8 Pages: 307-308
  • DOI: 10.1080/01691864.2019.1602893
• [Journal Article] Special Issue on Robot and Human Interactive Communication (2019)
  • Author(s): Kazuhiro NAKADAI, Emilia BARAKOVA, Michita IMAI, Tetsunari INAMURA
  • Journal Title: Advanced Robotics Volume: 33(15-16) Issue: 15-16 Pages: 699-699
  • DOI: 10.1080/01691864.2019.1652953
• [Journal Article] 社会的ロボットの行動設計のための指針：ヒューマンロボットインタラクションの立場から (2019)
  • Author(s): 小野哲雄
  • Journal Title: 日本設計工学会誌「設計工学」 Volume: 54 Pages: 711-716
• [Journal Article] 複数ロボットとの位置関係がユーザの対話負荷に与える影響 (2019)
  • Author(s): 松元 崇裕,後藤 充裕, 石井 亮, 渡部 智樹, 山田 智広, 今井 倫太
  • Journal Title: 情報処理学会論文誌 Volume: 60 Pages: 340-353
  • NAID: 170000150105
  • Peer Reviewed
• [Journal Article] 複数ロボットの発話の重なりによって創発する空間の知覚 (2018)
  • Author(s): 水丸和樹，坂本大介，小野哲雄
  • Journal Title: 情報処理学会論文誌 Volume: 59 Pages: 2279-2287
  • NAID: 170000149945
  • Peer Reviewed
• [Presentation] Emergence of Agent Gaze Behavior using Interactive Kinetics-Based Gaze Direction Model (2020)
  • Author(s): Mitsuhiko Kimoto
  • Organizer: 2020 ACM/IEEE International Conference on Human-Robot Interaction
  • Int'l Joint Research
• [Presentation] Audio-Visual 3D Reconstruction Framework for Dynamic Scenes (2020)
  • Author(s): Takeshi KONNO
  • Organizer: 2020 IEEE/SICE International Symposium on System Integration (SII2020)
  • Int'l Joint Research
• [Presentation] ロボット聴覚からのクロスモーダルへの期待 (2020)
  • Author(s): 中臺 一博
  • Organizer: 第220回コンピュータビジョンとイメージメディア研究発表会
• [Presentation] Robot Audition and Its Deployment (2020)
  • Author(s): Kazuhiro NAKADAI
  • Organizer: International Conference on Cloud Computing, Data Science & Engineering (Confluence-2020)
  • Int'l Joint Research
• [Presentation] エージェントの視線動作にユーザが抱く 違和感予測モデルの提案 (2020)
  • Author(s): 大塚 洋平
  • Organizer: HAIシンポジウム2020
• [Presentation] クラウドソーシングを用いた作成した環境音キャプションコーパスの評価 (2020)
  • Author(s): 岩月 道生
  • Organizer: 情報処理学会第82回全国大会, 5Q-07
• [Presentation] Notification Timing of Agent with Vection and Character for Semi-Automatic Wheelchair Operation (2019)
  • Author(s): Kouichi Enami
  • Organizer: 7th International Conference on Human-Agent Interaction
  • Int'l Joint Research
• [Presentation] Robot Audition Technology (2019)
  • Author(s): Kazuhiro Nakadai
  • Organizer: Huawei Next Generation Smartphone Workshop
  • Int'l Joint Research
• [Presentation] ナッジ効果を用いた運転支援システムの提示タイミングの決定 (2019)
  • Author(s): 榎波 晃一
  • Organizer: 第33回人工知能学会全国大会
• [Presentation] ユーザの閲覧行動に基づきパノラマ画像データを選択する適応型ストリートビューの開発 (2019)
  • Author(s): 里形 理興
  • Organizer: 第33回人工知能学会全国大会
• [Presentation] 視聴覚統合による動的環境下における三次元再構成の提案 (2019)
  • Author(s): 紺野 隆志
  • Organizer: 第55回人工知能学会 AIチャレンジ研究会
• [Presentation] 音環境説明ロボットの実現に向けた環境音キャプションコーパスの構築 (2019)
  • Author(s): 岩月 道生
  • Organizer: 第37回日本ロボット学会学術講演会 (RSJ 2019)
• [Presentation] 音声対話システムは敬語を使うべきか：発話の丁寧さと印象の比較調査 (2019)
  • Author(s): 大内 昴
  • Organizer: HAIシンポジウム2018
• [Presentation] Estimation of interest in interaction with robots (2018)
  • Author(s): Ryo Kitagawa
  • Organizer: The Workshop on Human-Robot Interaction through Virtual Reality (heled at IEEE Ro-MAN 2018)
  • Int'l Joint Research
• [Presentation] Signal Restoration based on Bi-directional LSTM with Spectral Filtering for Robot Audition (2018)
  • Author(s): Ryosuke Taniguchi
  • Organizer: IEEE Ro-MAN2018
  • Int'l Joint Research
• [Presentation] Development of VR-based Bird Song Scene Analysis System (2018)
  • Author(s): Kazuhiro Nakadai
  • Organizer: IEEE Ro-MAN2018
  • Int'l Joint Research
• [Presentation] ユーザモデルにもとづいて発言タイミングを決定するプレディクティブチャットボット (2018)
  • Author(s): 松森 匠哉
  • Organizer: 情報処理学会第80回全国大会
• [Presentation] 人間とロボットとの対話環境における対話終了タイミングの検討 (2018)
  • Author(s): 北川 遼
  • Organizer: クラウドネットワークロボット研究会
• [Presentation] Investigating how people deal with silence in a human-robot conversation (2017)
  • Author(s): Kiyona Oto
  • Organizer: the IEEE International Symposium on Robot and Human Interactive Communication
  • Int'l Joint Research
• [Presentation] Agent Auto-Generation System : Interact with your favorite things (2017)
  • Author(s): Shiori Sawada
  • Organizer: the IEEE International Symposium on Robot and Human Interactive Communication
  • Int'l Joint Research
• [Presentation] 予測的認知と「間」の関係 ―言葉を話せないロボットによるしりとりを題材とした考察― (2017)
  • Author(s): 大藤 聖菜
  • Organizer: HAIシンポジウム2017
• [Presentation] 対話ロボットによる割り込みに対する人間の反応の分析 (2017)
  • Author(s): 吉岡 駿
  • Organizer: クラウドネットワークロボット研究会
• [Presentation] 複数ロボットの発話の重なりによって創発する空間の知覚 (2017)
  • Author(s): 水丸 和樹
  • Organizer: HAIシンポジウム2017
• [Presentation] ぬいぐるみロボットを用いた休憩タイミング提示システムの提案 (2017)
  • Author(s): 大西 紗綾
  • Organizer: HAIシンポジウム2017
• [Presentation] I Can Help You: Altruistic Behaviors from Children towards a Robot at a Kindergarten (2017)
  • Author(s): Yuuki Yasumatsu
  • Organizer: the 2017 ACM/IEEE International Conference on Human-Robot Interaction
  • Int'l Joint Research
• [Presentation] Is a Robot a Better Walking Partner If It Associates Utterances with Visual Scenes? (2017)
  • Author(s): Satoru Satake
  • Organizer: the 2017 ACM/IEEE International Conference on Human-Robot Interaction
  • Int'l Joint Research
• [Presentation] 視線と移動速度に基づいた興味推定システム (2017)
  • Author(s): 北川 遼
  • Organizer: 情報処理学会 第79回全国大会
• [Presentation] 人間とロボットの会話における「間」のデザイン (2017)
  • Author(s): 大藤 聖菜
  • Organizer: 情報処理学会 第79回全国大会
• [Presentation] 前頭前野Accumulatorを用いた複数の機械学習器の調停と認知アーキテクチャへの応用 (2016)
  • Author(s): 大澤正彦
  • Organizer: 第4回汎用人工知能研究会
• [Presentation] 人間とロボットの会話における「間」の検討 (2016)
  • Author(s): 大藤 聖菜
  • Organizer: HAIシンポジウム2016
• [Presentation] Mutual Adaptation between a Human and a Robot Based on Timing Control of Sleep-time (2016)
  • Author(s): Masahiro Kitagawa
  • Organizer: 4th International Conference on Human-Agent Interaction (HAI 2016)
  • Int'l Joint Research
• [Presentation] Emergence of Joint Attention between Two Robots and Human using Communication Activity Caused by Synchronous Behaviors (2016)
  • Author(s): Tetsuo Ono
  • Organizer: IEEE International Symposium on Robot and Human Interactive Communication (IEEE RO-MAN 2016)
  • Int'l Joint Research
• [Remarks] 今井研究室
  • URL: https://www.ailab.ics.keio.ac.jp