• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

Research and development of teleoperation robot systems for communication support

Research Project

Project/Area Number 18H04114
Research InstitutionOsaka University

Principal Investigator

石黒 浩  大阪大学, 基礎工学研究科, 教授 (10232282)

Co-Investigator(Kenkyū-buntansha) 吉川 雄一郎  大阪大学, 基礎工学研究科, 准教授 (60418530)
岩井 儀雄  鳥取大学, 工学研究科, 教授 (70294163)
中村 泰  大阪大学, 基礎工学研究科, 特任准教授(常勤) (70403334)
熊崎 博一  国立研究開発法人国立精神・神経医療研究センター, 精神保健研究所 児童・予防精神医学研究部, 室長 (70445336)
Project Period (FY) 2018-04-01 – 2021-03-31
Keywords遠隔操作ロボット / 対話ロボット / 認知モデル / 障がい者支援 / 選択式対話
Outline of Annual Research Achievements

昨年度は,ロボット-ロボット対話,ロボット-人間対話,人間-人間対話の3つのシステムと,それに必要な自己表現機能および,感情・選好・認知モデル推定機能の2つの機能について開発に着手した.また,実証実験を通じて,障がい者等の対話支援に取り組んだ.平成31年度では,昨年度に引き続き以下の研究項目に取り組んだ.
ロボットの機能に関わる研究開発として,自己表現機能の実現を中心に取り組んだ.特に,自然な視線制御,自然な頭部運動制御等,人間と自然に対話できる遠隔操作機能の研究開発に注力した.
自然な視線制御については,昨年度の成果をさらに発展させ,対話相手の認識と発話内容に基づきながら,人間同様の自然な視線制御を実現する研究開発に取り組んだ.自然な頭部運動制御については,昨年度の成果を発展させ,音声情報のみならず,発話内容や対話相手の動作等にも基づきながら,対話においてより自然で,人間らしい存在感を表現できる頭部運動制御を実現する研究開発に取り組んだ.
感情・選好・認知モデル推定機能については,昨年度に引き続き,画像認識や音声認識によって対話相手の感情を理解し,それに基づいてロボットの表情や動作を制御する機能を実現する研究開発に取り組んだ.また,選好認知モデル推定の研究は昨年度において,実際にロボットに実装し,その効果を確かめることができたが,本年度ではモデルを拡張するとともに,モデル基づきより自然な対話ができるように研究開発を進めた.
ロボットシステムとしては,昨年度に開発したロボット-人間対話システムの完成度を高め,その性能を自閉症児の専門病院等における実証実験によって評価した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度はロボットシステムの研究開発に加え,特に自閉症児の専門病院での実証実験に数多く取り組み研究成果をあげることができた.

Strategy for Future Research Activity

来年度は最終年度となるが,これまでの研究成果を取りまとめながら,対話支援を行える遠隔操作ロボットとしての完成度を一層高め,実用的な応用も見据えた研究開発に取り組む.特に,新型コロナウィルスによる世界的危機の中,遠隔操作ロボットの必要性は非常に高まっている.自閉症児や高齢者を中心に,これまで連携してきた病院等の機関と共に,遠隔操作ロボットを用いてどのような対話サービスが実現できるか検討し,可能な限り実利用を試みる.

  • Research Products

    (33 results)

All 2020 2019

All Journal Article (15 results) (of which Peer Reviewed: 12 results,  Open Access: 6 results) Presentation (18 results) (of which Int'l Joint Research: 7 results)

  • [Journal Article] Continuous Hospitality with Social Robots at a Hotel2020

    • Author(s)
      Junya Nakanishi, Itaru Kuramoto, Jun Baba, Kohei Ogawa, Yuichiro Yoshikawa & Hiroshi Ishiguro
    • Journal Title

      applied sciences

      Volume: 2 Pages: 1~13

    • DOI

      10.1007/s42452-020-2192-7

    • Peer Reviewed / Open Access
  • [Journal Article] Twin-Robot Dialogue System with Robustness against Speech Recognition Failure in Human-Robot Dialogue with Elderly People2020

    • Author(s)
      Iio Takamasa、Yoshikawa Yuichiro、Chiba Mariko、Asami Taichi、Isoda Yoshinori、Ishiguro Hiroshi
    • Journal Title

      Applied Sciences

      Volume: 10 Pages: 1522~1522

    • DOI

      10.3390/app10041522

    • Peer Reviewed / Open Access
  • [Journal Article] Robotic eyes that express personality2019

    • Author(s)
      Luo Liangyi、Koyama Naoki、Ogawa Kohei、Ishiguro Hiroshi
    • Journal Title

      Advanced Robotics

      Volume: 33 Pages: 350~359

    • DOI

      10.1080/01691864.2019.1588164

    • Peer Reviewed
  • [Journal Article] Human Behavior Modeling During Dialogue by Using Generative Adversarial Networks2019

    • Author(s)
      Nishimura Yusuke、Nakamura Yutaka、Ishiguro Hiroshi
    • Journal Title

      Journal of the Robotics Society of Japan

      Volume: 37 Pages: 632~638

    • DOI

      10.7210/jrsj.37.632

    • Peer Reviewed
  • [Journal Article] Role-Play-Based Guidance for Job Interviews Using an Android Robot for Individuals With Autism Spectrum Disorders2019

    • Author(s)
      Kumazaki Hirokazu、Muramatsu Taro、Yoshikawa Yuichiro、Matsumoto Yoshio、Ishiguro Hiroshi、Mimura Masaru、Kikuchi Mitsuru
    • Journal Title

      Frontiers in Psychiatry

      Volume: 10 Pages: 1~7

    • DOI

      10.3389/fpsyt.2019.00239

    • Peer Reviewed / Open Access
  • [Journal Article] Comedic experience with two robots aided a child with autism spectrum disorder to realize the importance of nonverbal communication2019

    • Author(s)
      Kumazaki Hirokazu、Muramatsu Taro、Yoshikawa Yuichiro、Matsumoto Yoshio、Ishiguro Hiroshi、Sumiyoshi Tomiki、Mimura Masaru、Kikuchi Mitsuru
    • Journal Title

      Psychiatry and Clinical Neurosciences

      Volume: 73 Pages: 423~423

    • DOI

      10.1111/pcn.12846

    • Peer Reviewed / Open Access
  • [Journal Article] Relaxing Gaze Aversion of Adolescents With Autism Spectrum Disorder in Consecutive Conversations With Human and Android Robot?A Preliminary Study2019

    • Author(s)
      Yoshikawa Yuichiro、Kumazaki Hirokazu、Matsumoto Yoshio、Miyao Masutomo、Kikuchi Mitsuru、Ishiguro Hiroshi
    • Journal Title

      Frontiers in Psychiatry

      Volume: 10 Pages: 1~9

    • DOI

      10.3389/fpsyt.2019.00370

    • Peer Reviewed / Open Access
  • [Journal Article] How the Realism of Robot Is Needed for Individuals With Autism Spectrum Disorders in an Interview Setting2019

    • Author(s)
      Kumazaki Hirokazu、Muramatsu Taro、Yoshikawa Yuichiro、Matsumoto Yoshio、Miyao Masutomo、Ishiguro Hiroshi、Mimura Masaru、Minabe Yoshio、Kikuchi Mitsuru
    • Journal Title

      Frontiers in Psychiatry

      Volume: 10 Pages: 1~6

    • DOI

      10.3389/fpsyt.2019.00486

    • Peer Reviewed / Open Access
  • [Journal Article] Specific aspects of operating an unfamiliar touchscreen for individuals with autism spectrum disorders2019

    • Author(s)
      Watanabe Tetsuyou、Kumazaki Hirokazu、Muramatsu Taro、Mimura Masaru
    • Journal Title

      Psychiatry and Clinical Neurosciences

      Volume: 74 Pages: 157~158

    • DOI

      10.1111/pcn.12958

    • Peer Reviewed
  • [Journal Article] Job interview training targeting nonverbal communication using an android robot for individuals with autism spectrum disorder2019

    • Author(s)
      Kumazaki Hirokazu、Muramatsu Taro、Yoshikawa Yuichiro、Corbett Blythe A、Matsumoto Yoshio、Higashida Haruhiro、Yuhi Teruko、Ishiguro Hiroshi、Mimura Masaru、Kikuchi Mitsuru
    • Journal Title

      Autism

      Volume: 23 Pages: 1586~1595

    • DOI

      10.1177/1362361319827134

    • Peer Reviewed
  • [Journal Article] Brief report: A novel system to evaluate autism spectrum disorders using two humanoid robots.2019

    • Author(s)
      Kumazaki H, Muramatsu T, Yoshikawa Y, Yoshimura Y, Ikeda T, Hasegawa C, Saito ND, Shimaya J, Ishiguro H, Mimura M, Kikuchi M.
    • Journal Title

      Journal of Autism and Developmental Disorders.

      Volume: 49 Pages: 1709~1716

    • DOI

      10.1007/s10803-018-3848-7

    • Peer Reviewed
  • [Journal Article] Brief Report: Evaluating the Utility of Varied Technological Agents to Elicit Social Attention from Children with Autism Spectrum Disorders.2019

    • Author(s)
      Kumazaki H, Warren Z, Swanson A, Yoshikawa Y, Matsumoto Y, Yoshimura Y, Shimaya J, Ishiguro H, Sarkar N, Wade J, Mimura M, Minabe Y, Kikuchi M.
    • Journal Title

      Journal of Autism and Developmental Disorders

      Volume: 49 Pages: 1700~1708

    • DOI

      10.1007/s10803-018-3841-1

    • Peer Reviewed
  • [Journal Article] ロボット技術の自閉スペクトラム症者への潜在性2019

    • Author(s)
      熊﨑博一,吉川雄一郎
    • Journal Title

      分子精神医学

      Volume: 19 Pages: 20~24

  • [Journal Article] 増大特集 人工知能と神経科学 自閉スペクトラム症者へのヒューマノイドロボット研究の現状2019

    • Author(s)
      熊﨑 博一
    • Journal Title

      BRAIN and NERVE

      Volume: 71 Pages: 785~791

    • DOI

      10.11477/mf.1416201350

  • [Journal Article] 自閉スペクトラム症者へのロボットを用いた介入の潜在性2019

    • Author(s)
      熊﨑博一
    • Journal Title

      臨床精神医学

      Volume: 48 Pages: 1093~1100

  • [Presentation] Identifying People Using Body Sway in Case of Self-Occlusion2020

    • Author(s)
      Takuya Kamitani, Yuta Yamaguchi, Masashi Nishiyama, Yoshio Iwai
    • Organizer
      International Workshop on Frontiers of Computer Vision
    • Int'l Joint Research
  • [Presentation] Gender Classification using the Gaze Distributions of Observers on Privacy-Protected Training Images2020

    • Author(s)
      Michiko Inoue, Masashi Nishiyama, Yoshio Iwai
    • Organizer
      15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications
    • Int'l Joint Research
  • [Presentation] 三者対話における遠隔操作型ロボットへの半自律視線制御支援システムの提案2020

    • Author(s)
      新谷 太健,石井 カルロス寿憲, 劉 超然, 石黒 浩
    • Organizer
      HAIシンポジウム2020
  • [Presentation] SeMemNN: A Semantic Matrix-Based MemoryNeural Network for Text Classification2020

    • Author(s)
      Changzeng Fu, Chaoran Liu, Carlos Toshinori Ishi, Yuichiro Yoshikawa, Hiroshi Ishiguro
    • Organizer
      14th IEEE International Conference on SEMANTIC COMPUTING
    • Int'l Joint Research
  • [Presentation] Long-term Motion Generation for Interactive Humanoid Robots using GAN with Convolutional Network2020

    • Author(s)
      Yusuke Nishimura, Yutaka Nakamura, Hiroshi Ishiguro
    • Organizer
      ompanion of the 2020 ACM/IEEE International Conference on Human-Robot Interaction
    • Int'l Joint Research
  • [Presentation] Weakly Supervised Triplet Learning of Canonical Plane Transformation for Joint Object Recognition and Pose Estimation,2019

    • Author(s)
      Kouki Ueno, Go Irie, Masashi Nishiyama, Yoshio Iwai
    • Organizer
      IEEE International Conference on Image Processing
    • Int'l Joint Research
  • [Presentation] Comparing the Recognition Accuracy of Humans and Deep Learning on a Simple Visual Inspection Task2019

    • Author(s)
      Naoto Kato, Michiko Inoue, Masashi Nishiyama, Yoshio Iwai
    • Organizer
      5th Asian Conference on Pattern Recognition
    • Int'l Joint Research
  • [Presentation] 対話ロボット操作のための発言推薦機能を持つインターフェースの開発2019

    • Author(s)
      上原悠輝,吉川雄一郎,島谷二郎,熊崎博一,松本吉央,宮尾益知,石黒浩
    • Organizer
      第37回日本ロボット学会学術講演会
  • [Presentation] アンドロイド技術が自閉スペクトラム症者にもたらす潜在性2019

    • Author(s)
      熊﨑博一
    • Organizer
      第60回日本児童青年精神医学会
  • [Presentation] ロボット介入がもたらす自閉スペクトラム症の認知・行動変化2019

    • Author(s)
      熊﨑博一
    • Organizer
      第24回認知神経科学学会学術集会
  • [Presentation] 精神疾患患者へロボットを用いた介入の現状 アンドロイドの潜在性2019

    • Author(s)
      熊﨑博一
    • Organizer
      第115回日本精神神経学会学術総会
  • [Presentation] ヒューマノイドロボットを用いた自閉スペクトラム症児への介入2019

    • Author(s)
      熊﨑博一
    • Organizer
      第19回日本抗加齢医学会総会
  • [Presentation] ロボットを用いた自閉症支援が保障する未来2019

    • Author(s)
      石川大貴, 宮尾益知, 松本吉央, 吉川雄一郎, 熊﨑博一
    • Organizer
      第60回日本児童青年精神医学会総会
  • [Presentation] Possibility of conversation robots for individuals with Autism Spectrum Disorder.2019

    • Author(s)
      Yuichiro Yoshikawa
    • Organizer
      iHAI Workshop on Clinical Use of Technology for Individuals with Autism Spectrum Disorder
    • Int'l Joint Research
  • [Presentation] 人が話しやすいロボットCommUの開発2019

    • Author(s)
      吉川雄一郎
    • Organizer
      超臨場感コミュニケーション産官学フォーラムUltra Reality Interface WG セミナー「メディア&ロボティクス
  • [Presentation] 自閉スペクトラム症療育の複数ロボットシステムを用いた挑戦2019

    • Author(s)
      吉川雄一郎
    • Organizer
      第60回日本児童青年精神医学会総会
  • [Presentation] 複数体で連携して人と話すロボットCommU2019

    • Author(s)
      吉川雄一郎
    • Organizer
      映像情報メディア学会 研究会
  • [Presentation] 複数ロボットがもたらす精神科治療の可能性2019

    • Author(s)
      吉川雄一郎、松本 吉央、熊崎 博一、宮尾 益知、石黒 浩
    • Organizer
      第115回日本精神神経学会学術総会

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi