2017 Fiscal Year Research-status Report

Robot motion recognition and generation reflecting natural language expression of information from human co-worker

Research Project

Project/Area Number	17K00362
Research Institution	Shizuoka University
Principal Investigator	小林祐一静岡大学, 工学部, 准教授 (60373304)
Project Period (FY)	2017-04-01 – 2020-03-31
Keywords	協働ロボット / 自然言語言語識別 / タスク表現
Outline of Annual Research Achievements	人と同じ環境で協働するロボットに，異常（失敗）やタスクの変動に対処する能力をロボットに持たせることを目標とし，タスクの実行状況を自然言語により識別する方法を研究開発した．2017年度は，状態遷移ネットワークを基礎としたタスク表現を基礎とし，ロボットのタスク実行とその状況に関するデータ収集実験を行い，タスク実行状況を表すカテゴリとの結びつけを行う方法を実装・検証した．ロボットのタスク実行側では，ハンドアーム型ロボットが物体を掴んで目標の位置まで運ぶタスクを実装した．対象物の位置を外部カメラで計測し，ロボットアームの関節角度時系列情報とともに物体位置・姿勢時系列情報を記録した．タスクの実行状況について，人工的なノイズによって3種類の失敗（掴むことに失敗する，リーチングに失敗する，など）を再現した．その動作の様子を動画として記録し，各失敗について22文，全体で成功を含めて88文の文章（英語）を収集した．この時系列データと文章データを用いて，テスト用の動作時系列をもとに失敗のカテゴリ識別を行う認識系をHMM（隠れマルコフモデル）にもとづいて構成した．この識別器において，83%の識別率で，タスクの成功/失敗が識別できることが確認された．また，各カテゴリについてN-gramモデルからなる自然言語モデルを構築し，各カテゴリを表現する文章を生成することが可能であることを確認した．逆に，訓練データにない文章を与えてカテゴリ識別実験を行い，各カテゴリを識別することが可能であることを確認した．さらに，タスク全般に失敗したという大まかな失敗を表す文章に対しては，全失敗カテゴリが一定以上の確率を推定した．このことから，タスクの階層性に関して，規模の小さい問題であれば，提案する自然言語モデルにより大まかな状態識別と細かい状態識別の間の階層関係を言語から推定することが可能であることが示唆された．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 初年度に目標としていた，HMMや自然言語モデルなどにもとづいた認識系を構築することができた．小さいスケールの問題で動画をベースに文章を収集し，文章からの識別や文章の生成が可能であることを確認することができた．タスクの階層性についてより深く検証することが求められるが，その入口として，HTN（Hierarchical Task Network）などのタスク表現との関係を考察している．
Strategy for Future Research Activity	一つの課題は，より複雑なタスク表現や多くの文章に対してこの枠組を適用し，問題点を発見し解決することである．タスクの階層性について，より詳細な検討を行う必要がある．そのために，ロボットの動作をより多種類の失敗とともに生成し，カテゴリ数を増やして同様の検証を行う．また，タスクの階層性についてより詳細な検討を行い，文章の情報からタスクの実行状態について得られる情報についての検討を進める．外部から得られた文章の情報をタスクの識別に反映させる方法について提案し，その実装および検証を同じ枠組みで進める．より多くの文章を収集する方法として，クラウドソーシングを検討・試行する．
Causes of Carryover	一部のロボット実験について，共同研究を行うミュンヘン工科大学の研究室の設備を利用することができた．このため静岡大学の研究室でのロボット動作・認識システム開発に要する費用が抑えられた．2018年度は，再び自研究室でのロボット動作・認識システム開発も進めるため，抑えられた費用をそのための使用する予定である．また，国際共同研究を継続的に行うための研究打ち合わせ旅費としても一部使用を計画している．