Robot motion recognition and generation reflecting natural language expression of information from human co-worker

• Project/Area Number: 17K00362
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Intelligent robotics
• Research Institution: Shizuoka University
• Principal Investigator: Kobayashi Yuichi 静岡大学, 工学部, 准教授 (60373304)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2019: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2017: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
• Keywords: 協働ロボット / 自然言語認識 / タスク表現 / タスクの階層性 / 自然言語による識別 / ロボットのタスク実行 / タスク・サブタスクの階層関係 / 依存関係の推定 / 自然言語言語識別 / 知能ロボティックス / 自然言語

Outline of Final Research Achievements

In this project, a natural language recognition method was developed for co-working robots with humans. The main contribution of the project is that it focuses on natural language communication with respect to tasks that robot and human are conducting. For the focus, description of task in a hierarchical manner is utilized for task-state recognition from natural language, where hierarchical representation stands for relation of division of a task into smaller sub-tasks. Based on a date collection method known as crowdsourcing, a number of natural language data was collected and it was shown that the proposed method realizes task-state recognition by natural language.

Academic Significance and Societal Importance of the Research Achievements

本研究の学術的な意義は，これまでのロボットのための自然言語認識方法で扱って来なかった「ロボットのタスクの実行状況を認識する」という課題に焦点をあて，設計者により与えられる「タスクの記述」と連携した識別を実現したことである．自然言語表現は曖昧さを含むことがあり，ロボットが実際に仕事を行う状況を正確に把握することは難しいこともあり得るが，本手法では，その「曖昧さ」をタスク記述と結びつけながら陽に表現することを可能にした．これによって，ロボットと人が一緒に働くというより実社会で求められる状況に近い場面でのロボット認識能力を向上させることに貢献した．

Research Products

• [Int'l Joint Research] ミュンヘン工科大学(ドイツ)
• [Int'l Joint Research] ミュンヘン工科大学(ドイツ)
• [Int'l Joint Research] ミュンヘン工科大学(ドイツ)
• [Journal Article] Automatic controller generation based on dependency network of multi-modal sensor variables for musculoskeletal robotic arm (2019)
  • Author(s): Kobayashi Yuichi、Harada Kentaro、Takagi Kentaro
  • Journal Title: Robotics and Autonomous Systems Volume: 118 Pages: 55-65
  • DOI: 10.1016/j.robot.2019.04.010
  • Peer Reviewed / Open Access
• [Presentation] 協働ロボットのための曖昧さを考慮した自然言語によるタスク達成状況識別 (2018)
  • Author(s): 阿部卓未
  • Organizer: 第24回創発システムシンポジウム
• [Presentation] 協働ロボットのためのタスク表現を利用した自然言語によるタスク実行状況識別 (2018)
  • Author(s): 阿部卓未
  • Organizer: 第19回計測自動制御学会システムインテグレーション部門講演会
• [Presentation] ロボットハンドを用いた把持行動の時系列画像における動作分類 (2018)
  • Author(s): 宗戸俊樹
  • Organizer: 第24回創発システムシンポジウム
• [Presentation] 人と協働するロボットのための類似性を反映した自然言語による状態識別 (2018)
  • Author(s): 阿部卓未
  • Organizer: 第30回自律分散システム・シンポジウム
• [Presentation] Motion recognition by natural language including success and failure of tasks for co-working robot with human (2017)
  • Author(s): Yuichi Kobayashi
  • Organizer: IEEE International Conference on Advanced Intelligent Mechatronics
  • Int'l Joint Research
• [Book] ロボットはもっと賢くなれるか (2020)
  • Author(s): 小林 祐一
  • Total Pages: 256
  • Publisher: 森北出版
  • ISBN: 9784627880610
• [Remarks] 人と協働するロボットのための自然言語によるタスクの実行状況識別方法
  • URL: http://sensor.eng.shizuoka.ac.jp/content.htm
• [Remarks] 人と協働するロボットのための自然言語を利用したタスク実行状況の認識
  • URL: http://sensor.eng.shizuoka.ac.jp/~koba/previous_research/research_j.html#language