• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

Service Robots Based on an Integrated Ontology of Verbal and Nonverbal Behaviors

Research Project

Project/Area Number 26240038
Research InstitutionSaitama University

Principal Investigator

久野 義徳  埼玉大学, 理工学研究科, 教授 (10252595)

Co-Investigator(Kenkyū-buntansha) 小林 貴訓  埼玉大学, 理工学研究科, 准教授 (20466692)
加地 大介  埼玉大学, 人文社会科学研究科, 教授 (50251145)
山崎 敬一  埼玉大学, 人文社会科学研究科, 教授 (80191261)
Project Period (FY) 2014-04-01 – 2019-03-31
Keywords画像、文章、音声認識等 / 知能ロボティックス / ユーザインタフェース / オントロジー / エスノメソドロジー
Outline of Annual Research Achievements

研究代表者は介護ロボットの実現に向けて、哲学者と共同でオントロジーを用いて対話を通じて物体を認識する研究と、社会学者と共同で人間とロボットの非言語行動を通じたインタラクションについて研究を行ってきた。前者では、状況に応じて意味の変化する多様な人間の自然言語表現を扱えるオントロジーを構築した。後者では、人間の非言語行動も状況により多様な意味をもつことを明らかにしてきた。そこで、本課題では、前者で検討したオントロジーの枠組をさらに発展させ、後者の非言語行動も加えた介護ロボットの世界を記述するオントロジーを構築し、それをもとに人間の指示を理解し、実際の介護施設で動作するロボットの開発を目指して研究を進めている。
平成28年度は実証試験に使用できるロボットの実現に向けて、構成要素の機能の向上を検討した。サービスロボット用の言語・非言語統合オントロジーについては、被験者を用いた実験により物体の指示の際に用いられる表現を集め、それをもとに日本語の多様な表現に対応できるように改良した。開発中のロボットでは、人間の指示に物体名が含まれていれば、その物体の自動物体認識を試み、それだけで指示を理解できない場合に、人間と対話により情報を補う。この自動物体認識の部分は、深層学習の利用により、最近、非常に能力が高まっている。しかし、従来の研究はインターネットなどで得られる画像から物体を学習する場合が多いが、このような画像は人間に見せるための画像であることが多く、物体が分かりやすく写っているのが普通である。しかし、ロボットが物体を認識しようとした際に、分かりやすい、代表的な方向から物体を見ているとは限らない。そこで、ロボットが視点を変えながら物体を認識する方法を検討した。また、ロボットが実環境で自律移動できるように、生成した環境の地図や、環境に設置したセンサを用いて自己位置を推定する方法を開発した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

物体の言語による表現に関するオントロジーについては、実際に用いられる多様な表現に対応するものができた。非言語行動に関しては、身体の動きは体系的に記述できるが、同じ動きでも状況により異なる意味をもつことがあり、この扱いについては引き続き検討を行っている状況である。
自動物体認識の部分は研究の中心点ではないが、実用的なロボットの実現のためには重要であり、最近の先端研究の成果を取り入れ、それにロボット向けの改良を加えることを検討しており、進捗は良好である。
介護施設等の現場で動き回るための自律移動の技術については、自律移動ショッピングカートという形で実装し、実際のショッピングモールで実験を行った。混雑した店内でも動作することが確認でき開発状況は順調である。
以上のように非言語行動に関する部分についてはさらに検討が必要だが、他のロボットの構成要素に関しては研究が進んでおり、おおむね順調に進展していると判断する。
必要はあるが、全体システムの開発や自動認識については進んでおり、おおむね順調に進展していると判断する。

Strategy for Future Research Activity

研究計画では平成28年度と29年度の2年間で実証試験用ロボットを開発することになっている。平成28年度は、そのためのソフトウェア面での構成要素に注力し、ほぼ計画通りの進展を見ている。平成29年度は、これらのソフトウェア要素を統合してロボットに実装し、実証試験用のシステムを開発する。
実証試験用ロボットについては、昨年述べたように研究提案の際には双腕のロボットを購入して実際の作業を行えるロボットを開発することを計画していたが、予算の関係で購入できないので、計画を変更している。すなわち、ロボットとしては現有のロボットを改良したものなどを用い、したがって実際にできる作業はかなり限定されてしまうが、言語・非言語オントロジーを用いて、ユーザの意図を理解することができるかどうかを実証試験の中心的な評価項目として研究を進めている。
平成28年度の計画では現有のロボットの一つのRobovie-R Ver.3(ヴィストン社)を利用する予定としたが、動きが遅いため使用しなかった。実際には、平成28年度は、オントロジーを用いた対話物体認識には小型二足歩行ロボット(NAO、ソフトバンクロボティクス)を用いた。また、移動関係の研究には移動台車を改良したロボットを用いた。NAOでは実際の広い現場で動き回ることはできないので、実証試験用のロボットのプラットフォームをどうするかを検討する必要がある。ソフトバンクロボティクスのPepperが一つの候補だが、携帯電話的な割賦販売のため科研では購入しにくいという問題がある。そこで、移動関係の研究に使用したロボットを改良して使うことを中心に検討している。

  • Research Products

    (14 results)

All 2017 2016 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Acknowledgement Compliant: 1 results) Presentation (11 results) (of which Int'l Joint Research: 4 results) Remarks (1 results)

  • [Journal Article] “I’ll Be There Next”: A Multiplex Care Robot System that Conveys Service Order Using Gaze Gestures2016

    • Author(s)
      K. Yamazaki, A. Yamazaki, K. Ikeda, C. Liue, M. Fukushima, Y. Kobayashi, and Y. Kuno
    • Journal Title

      ACM Transactions on Interactive Intelligent Systems

      Volume: 5 Pages: 1-21

    • DOI

      10.1145/2844542

    • Peer Reviewed
  • [Journal Article] Material Information Acquisition for Interactive Object Recognition by Service Robots2016

    • Author(s)
      M. A. Mannan, A. Lam, Y, Kobayashi, and Y. Kuno
    • Journal Title

      IIEEJ Transactions on Image Electronics and Visual Computing

      Volume: 4 Pages: 20-31

    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] ロボットのための動的観察に基づく物体認識手法の提案2017

    • Author(s)
      三浦 且之,福田 悠人,小林 貴訓,久野 義徳
    • Organizer
      2017年電子情報通信学会総合大会
    • Place of Presentation
      名城大学天白キャンパス(愛知県名古屋市)
    • Year and Date
      2017-03-22 – 2017-03-25
  • [Presentation] Blind Area Detection for Safe and Comfortable Navigation of Robotic Wheelchairs2017

    • Author(s)
      J.T. Husna,H. Fukuda,Y. Kobayashi,and Y. Kuno
    • Organizer
      2017年電子情報通信学会総合大会
    • Place of Presentation
      名城大学天白キャンパス(愛知県名古屋市)
    • Year and Date
      2017-03-22 – 2017-03-25
  • [Presentation] Robotic Agent to Support Navigation and Communication for Autonomous Wheelchair2017

    • Author(s)
      R. Kumari,H. Fukuda,Y. Kobayashi,and Y. Kuno
    • Organizer
      2017年電子情報通信学会総合大会
    • Place of Presentation
      名城大学天白キャンパス(愛知県名古屋市)
    • Year and Date
      2017-03-22 – 2017-03-25
  • [Presentation] ロボットの視線フィードバックを援用した指示物体の同定2017

    • Author(s)
      高田 靖人,福田 悠人,小林 貴訓,久野 義徳
    • Organizer
      2017年電子情報通信学会総合大会
    • Place of Presentation
      名城大学天白キャンパス(愛知県名古屋市)
    • Year and Date
      2017-03-22 – 2017-03-25
  • [Presentation] 位置情報に基づくサ―ビスを提供する自律移動ショッピングカート2017

    • Author(s)
      山崎 誠治,高橋 秀和,鈴木 亮太,山田 大地,福田 悠人,小林 貴訓,久野 義徳
    • Organizer
      2017年電子情報通信学会総合大会
    • Place of Presentation
      名城大学天白キャンパス(愛知県名古屋市)
    • Year and Date
      2017-03-22 – 2017-03-25
  • [Presentation] Object Indication to Service Robots using a Mobile Interface from User’s Perspective2017

    • Author(s)
      Q. Zhong, H. Fukuda, Y. Kobayashi, and Y. Kuno
    • Organizer
      23th International Workshop on Frontiers of Computer Vision (IW-FCV2017)
    • Place of Presentation
      Hanyang University (Seoul, 韓国)
    • Year and Date
      2017-02-01 – 2017-02-03
    • Int'l Joint Research
  • [Presentation] ロボットが誘発する多人数相互行為の分析2016

    • Author(s)
      楊澤坤, 福田悠人, 山崎敬一, 山崎晶子, 小林貴訓, 久野義徳
    • Organizer
      電子情報通信学会HCS研究会
    • Place of Presentation
      石川県政記念しいのき迎賓館(石川県金沢市)
    • Year and Date
      2016-09-14 – 2016-09-14
  • [Presentation] Analysis of Multi-party Human Interaction towards a Robot Mediator2016

    • Author(s)
      H. Fukuda, Y. Kobayashi, Y. Kuno, A. Yamazaki, K. Ikeda, and K. Yamazaki
    • Organizer
      International Symposium on Robot and Human Interactive Communication (RO-MAN2016)
    • Place of Presentation
      Teachers College, Columbia University (New York, アメリカ合衆国)
    • Year and Date
      2016-08-26 – 2016-08-31
    • Int'l Joint Research
  • [Presentation] Tracking Visitors in a Real Museum for Behavioral Analysis2016

    • Author(s)
      M. G. Rashed, R. Suzuki, T. Yonezawa, A. Lam, Y. Kobayashi, and Y. Kuno
    • Organizer
      Joint 8th International Conference on Soft Computing and Intelligent Systems and 17th International Symposium on Advanced Intelligent Systems (SCIS-ISIS2016)
    • Place of Presentation
      北海学園大学 (北海道札幌市)
    • Year and Date
      2016-08-25 – 2016-08-28
    • Int'l Joint Research
  • [Presentation] Terrain Recognition for Smart Wheelchair2016

    • Author(s)
      S. A. Mamun, R. Suzuki, A. Lam, Y. Kobayashi, and Y. Kuno
    • Organizer
      International Conference on Intelligent Computing (ICIC2016)
    • Place of Presentation
      Lanzhou Hotel (Lanzhou, 中国)
    • Year and Date
      2016-08-02 – 2016-08-05
    • Int'l Joint Research
  • [Presentation] 付加情報を用いた学習済みCNNに基づく物体認識2016

    • Author(s)
      細原大輔, 福田悠人, 小林貴訓, 久野義徳
    • Organizer
      画像センシングシンポジウム(SSII2016)
    • Place of Presentation
      パシフィコ横浜(神奈川県横浜市)
    • Year and Date
      2016-06-08 – 2016-06-10
  • [Remarks] 久野研究室紹介

    • URL

      http://www.cv.ics.saitama-u.ac.jp

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi