非言語情報の認識と言語情報の利活用に基づく会話支援ロボットの開発

• Project Area: Founding a creative society via collaboration among humans and robots
• Project/Area Number: 24118701
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Chiba University
• Principal Investigator: 大武 美保子 千葉大学, 工学(系)研究科(研究院), 准教授 (10361544)
• Project Period (FY): 2012-04-01 – 2014-03-31
• Project Status: Completed (Fiscal Year 2013)
• Budget Amount: ¥9,100,000 (Direct Cost: ¥7,000,000、Indirect Cost: ¥2,100,000); Fiscal Year 2013: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2012: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
• Keywords: ヒューマンロボットインタラクション / モデリング / ロボット / 会話 / 支援システム / 相互作用 / 認識 / 言語 / 高齢者

Research Abstract

本研究の目的は、個別に開発してきた二種類の会話支援ロボットの要素技術を統合し、場の雰囲気を読み取り、適切な発言を選択可能な会話支援ロボットを開発することである。発話時間や表情など非言語情報の認識技術に基づいて場の雰囲気を読み取り、会話中の人間の発言など言語情報の利活用に基づいて適切な発言を選択可能とし、人と人との会話をより円滑に支援できるよい聞き手となるロボットが実現するかどうかを、実験的に検証する。平均年齢94歳の健康長寿姉妹の会話をヒントに、面白い話をする機能、面白い話で笑う機能等を開発することに成功した。
非言語情報の認識に基づいて場の雰囲気を読み取る技術の開発に関連して、以下の成果が得られた。顔画像から笑顔度を計測するソフトウエアを用いて、会話時の笑顔度の変化を計測し、参加者の笑顔度が閾値を超えた時にロボットが笑うアルゴリズムを考案した。このアルゴリズムを実装した、笑うロボットをグループ会話に参加させたところ、参加者の笑いが増え、モデルとなった健康長寿姉妹からも高評価を得た。また、東京工業大学中臺研究室、（株）システムインフロンティアと共同で、パッケージ化、無線化したくらげ型マイクロホンアレイ「くらげ君2号」を開発し、グループ会話において参加者の発話量を計測できることを確かめた。
言語情報の利活用に基づいて適切な発言を選択可能とする技術の開発に関連して、以下の成果が得られた。共想法形式のグループ会話の中で、参加者が提供した、笑いが多く取れた話題を、ロボットが再利用する実験を行った。健常高齢者による話題を、ロボットが提供したところ、健常高齢者の参加者を笑わせることができた。即ち、参加者が提供した話題の利活用により、グループ会話を盛り上げることができることを確かめた。

Current Status of Research Progress

Reason

25年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

25年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] A Robot Presenting Reproduced Stories among Older Adults in Group Conversation (2014)
  • Author(s): Kenta Yamaguchi, Myagmarbayar Nergui, and Mihoko Otake
  • Journal Title: Applied Mechanics and Materials Volume: 541-542 Pages: 1120-1126
  • DOI: 10.4028/www.scientific.net/amm.541-542.1120
  • Peer Reviewed
• [Journal Article] Development of a Tool for Assisting Group Conversation by Re-voicing Supportive Responses (2014)
  • Author(s): Myagmarbayar Nergui and Mihoko Otake
  • Journal Title: Applied Mechanics and Materials Volume: 446-447 Pages: 1040-1044
  • DOI: 10.4028/www.scientific.net/amm.446-447.1040
  • Peer Reviewed
• [Journal Article] Robotics for Health and Well-being (2014)
  • Author(s): Mihoko Otake
  • Journal Title: IEEE Robotics & Automation Magazine Volume: 21 Issue: 1 Pages: 88-91
  • DOI: 10.1109/mra.2014.2299504
  • Peer Reviewed
• [Journal Article] Duplication Analysis of Conversation and its Application to Cognitive Training of Older Adults in Care Facilities (2013)
  • Author(s): Mihoko Otake, Myagmarbayar Nergui, Takashi Otani and Jun Ota
  • Journal Title: Journal of Medical Imaging and Health Informatics Volume: 3 Issue: 4 Pages: 615-621
  • DOI: 10.1166/jmihi.2013.1212
  • Peer Reviewed
• [Journal Article] Laughter Detection for an Assisting Tool of Group Conversation (2013)
  • Author(s): Myagmarbayar Nergui and Mihoko Otake
  • Journal Title: International Journal of Signal Processing Systems Volume: 1 Pages: 212-217
  • DOI: 10.12720/ijsps.1.2.212-217
  • Peer Reviewed
• [Journal Article] Development of a Sound Source Localization System for Assisting Group Conversation (2013)
  • Author(s): Mihoko Otake, Myagmarbayar Nergui, Seong-eun Moon, Kentaro Takagi, Tsutomu Kamashima, and Kazuhiro Nakadai
  • Journal Title: Intelligent Robotics and Applications, Lecture Notes in Artificial Intelligence Volume: 8102 Pages: 532-539
  • DOI: 10.1007/978-3-642-40852-6_54
  • ISBN: 9783642408519, 9783642408526
  • Peer Reviewed
• [Journal Article] Automatic detection of laughter using respiratory sensor data with smile degree (2013)
  • Author(s): Myagmarbayar Nergui, Lin Pai-hui, Gota Nagamatsu, Mikio Waki and Mihoko Otake
  • Journal Title: Proceedings of the International Conference on Advances in Computing, Communications and Informatics Volume: 1 Pages: 12-15
  • Peer Reviewed
• [Journal Article] Facial Expression Detection through a RGB-D sensor for an Assisting Tool of Group Conversation (2013)
  • Author(s): Myagmarbayar Nergui, and Mihoko Otake
  • Journal Title: Proceedings of the International Conference on Modern Trends in Science Engineering and Technology Volume: 1 Pages: 17-21
  • Peer Reviewed
• [Journal Article] 認知症から見る人間の知能と人工知能による支援 (2013)
  • Author(s): 大武美保子
  • Journal Title: 人工知能学会誌 Volume: 28 Pages: 726-733
• [Journal Article] Cognitive Training and Assistive Technology for Aging (2013)
  • Author(s): 大武美保子，桑原教彰
  • Journal Title: 人工知能学会誌 Volume: 28 Pages: 954-954
• [Journal Article] Embodied Cognition in Psychological Therapy (2012)
  • Author(s): Mihoko Otake, Surya G. Nurzaman, and Fumiya Iida
  • Journal Title: Journal of Cognitive Science Volume: Vol. 13 Pages: 431-452
  • Peer Reviewed
• [Journal Article] A system that assists group conversation of older adults by evaluating speech duration and facial expression of each participant during conversation (2012)
  • Author(s): Taichi Yamaguchi, Jun Ota, Mihoko Otake
  • Journal Title: Proceedings of the IEEE International Conference on Robotics and Automation Volume: Vol. 1 Pages: 4481-4486
  • Peer Reviewed
• [Journal Article] 柔らかい機械と機会を創る (2012)
  • Author(s): 大武美保子
  • Journal Title: 日本機械学会誌 Volume: Vol. 115， No.1122 Pages: 327-330
• [Presentation] May Interactive Group Conversation Improve Our Cognitive Health? (2014)
  • Author(s): Mihoko Otake
  • Organizer: AAAI Spring symposium "Big data becomes personal", Stanford University
  • Place of Presentation: Stanford University, Palo Alto, U.S.A
  • Invited
• [Presentation] ほのぼのと頭を使って認知症予防 (2014)
  • Author(s): 大武美保子
  • Organizer: 第59 回日本老年医学会関東甲信越地方会
  • Place of Presentation: 京葉銀行文化プラザ
  • Invited
• [Presentation] Robots for Elder Person's Use (2013)
  • Author(s): Mihoko Otake
  • Organizer: The International Workshop on "Motion and Vital Data Acquisition, Storage and Trends Predictive Analysis"
  • Place of Presentation: Tel Aviv, Israel
  • Year and Date: 2013-02-25
  • Invited
• [Presentation] 高齢者によるグループ会話の重なり時間とバランスの分析 (2013)
  • Author(s): 山口健太，大武美保子
  • Organizer: 第31回日本ロボット学会学術講演会
  • Place of Presentation: 首都大学東京
• [Presentation] 笑うロボットの開発 (2013)
  • Author(s): 永井大幹，山口健太，小寺達也，大武美保子
  • Organizer: 第31回日本ロボット学会学術講演会
  • Place of Presentation: 首都大学東京
• [Presentation] グループ会話促進ロボットの開発を目的とする健康長寿高齢者の発話分類 (2013)
  • Author(s): 増田遼佑，田中浩司，大武美保子
  • Organizer: 第31回日本ロボット学会学術講演会
  • Place of Presentation: 首都大学東京
• [Presentation] 呼吸センサと笑顔度を用いた笑いの自動検出 (2013)
  • Author(s): 林百會，永松剛太，Nergui Myagmarbayar，和氣美紀夫，大武美保子
  • Organizer: 第31回日本ロボット学会学術講演会
  • Place of Presentation: 首都大学東京
• [Presentation] Analysis of Overlap during Group Conversation of Active Older Adults (2013)
  • Author(s): Mihoko Otake and Kenta Yamaguchi
  • Organizer: The 27th Annual Conference of the Japanese Society for Artificial Intelligence
  • Place of Presentation: 富山国際会議場
• [Presentation] The Functional Quality of Life (fQOL)-Model and its Application to the Coimagination Method (2013)
  • Author(s): Mike Martin and Mihoko Otake
  • Organizer: The 27th Annual Conference of the Japanese Society for Artificial Intelligence
  • Place of Presentation: 富山国際会議場
  • Invited
• [Presentation] 高齢者と共につくる認知機能と生活の質向上のための技術 (2013)
  • Author(s): 大武美保子
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 愛知工業大学
  • Invited
• [Presentation] 人間のグループ会話データを利活用する会話支援ロボットの開発 (2013)
  • Author(s): 山口健太，佐藤仁，鈴木利明，大武美保子
  • Organizer: 第25回日本機械学会ロボティクス・メカトロニクス講演会
  • Place of Presentation: つくば国際会議場
• [Presentation] グループ会話支援のためのワイヤレスマイクロホンアレイ「くらげクン 2 号」の開発 (2013)
  • Author(s): 文聖恩，高木健太郎，釜島力，中臺一博，大武美保子
  • Organizer: 第25回日本機械学会ロボティクス・メカトロニクス講演会
  • Place of Presentation: つくば国際会議場
• [Presentation] Japan: Robotics and Technological Innovations for Elderly Care (2013)
  • Author(s): Mihoko Otake
  • Organizer: The International Conference on Using Advanced Technologies For Elderly Care: A New Paradigm
  • Place of Presentation: Tel Aviv, Israel
  • Invited
• [Presentation] 複数の施設で利用可能な共想法支援システム「ほのぼのパネル」の開発 (2012)
  • Author(s): 大武美保子，小柳洋子，土井悠希江，辻畑光宏，田崎誉代，野口宗昭，安部晨，永田映子
  • Organizer: 2012年度人工知能学会全国大会
  • Place of Presentation: 山口県山口市
  • Year and Date: 2012-06-12
• [Presentation] 認知症予防支援サ－ビス「ふれあい共想法」における人材育成課程の開発 (2012)
  • Author(s): 佐藤由紀子，田口良江，武下秀子，蓼沼芳保，根岸勝寿，黒田征二，鬼武眞人，明神愛輝，塚脇章生，前川晃子，長谷川多度，大武美保子
  • Organizer: 2012年度人工知能学会全国大会
  • Place of Presentation: 山口県山口市
  • Year and Date: 2012-06-12
• [Remarks] 大武研究室
  • URL: http://jp.otakelab.net/
• [Patent(Industrial Property Rights)] 笑い促進プログラム及び笑い促進装置 (2013)
  • Inventor(s): 大武 美保子，永井大幹，山口健太，小寺達也
  • Industrial Property Rights Holder: 千葉大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2013-214285
  • Filing Date: 2013-10-13