2020 Fiscal Year Annual Research Report

Development of Visual Inspection Robot with Learnable Spoken Dialogue System

Research Project

Project/Area Number	17K00269
Research Institution	Nagoya Institute of Technology
Principal Investigator	田口亮名古屋工業大学, 工学(系)研究科(研究院), 准教授 (70508415)
Project Period (FY)	2017-04-01 – 2021-03-31
Keywords	ヒューマンコンピュータインタラクション / 言語獲得 / シンボルグラウンディング / サービスロボット / 音声命令学習 / 自動検査
Outline of Annual Research Achievements	ロボットが実際のタスクの中で動作系列名を学習するためには，時系列データの分節化と予測が必要となる．従来は，分節化された動作と単語の共起データを学習する必要があったが，ユーザがロボットと対面する場面で，動作を分節化して与えるのは難しい．また，ロボットが次の動作の候補を予測できれば，単語を効率的に学習できる．分節化されていない時系列データを自動的に分節化し，頻出するパターンを学習する手法として，HDP-HLMが提案されているが，学習結果を用いた予測手法は確立されていない．そこで本研究では，HDP-HLMで得られた確率モデルを用い，未観測データの予測を行う手法を開発した．実験の結果，検査固有の動作は獲得できたが，予測については十分な性能が得られなかった．これは，学習データおよび使用した特徴量が不足していたためであり，それらの拡充が今後の課題である．ロボットが検査中の状況を認識するためには，車両位置の推定が必要である．しかし，車両のような鏡面反射を伴う物体の場合，従来手法では距離計測の誤差が大きいという問題がある．そこで，本研究では，深層学習のYoloによる物体認識と，３次元点群の位置合わせ手法を統合することで，車両位置の推定精度を向上させる手法を開発した．さらに，我々が開発している手法と深層学習に基づいた手法の統合を模索するため，深層学習に基づいた汎用言語モデルのBERTを用いて，未知語を含む命令発話の認識実験を実施した．その結果，音声に未知語や不要語が含まれていても，８割程度の正解率で意味が正しく推論できることを確認した．しかし，一方で，「車の後ろに行って」を「トランクの前に行って」と言い換えた場合などに誤りが生じやすいことも確認された．このような，対象に関する知識を我々の手法で追加学習することができれば，より実用性の高いシステムが実現できると考えられる．