2019 Fiscal Year Annual Research Report
Construction of concept model based on segmenting multimodal time-series information
| Project/Area Number |
17K12758
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
中村 友昭 電気通信大学, 大学院情報理工学研究科, 准教授 (50723623)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 概念形成 / 教師なし学習 / 隠れセミマルコフモデル / マルチモーダル学習 |
|---|
| Outline of Annual Research Achievements |
令和元年度は，概念モデルのさらなる改良を実施した．提案モデルは，ロボットから取得可能な画像や関節各系列といった時系列マルチモーダル情報を分節・分類することで，物体概念や動作概念を形成し，それらの関係性を学習可能なモデルである．これまでは，物体概念と動作概念は独立に学習されていたが，これらの概念を学習された関係性から相互に影響するモデルへと拡張した．これにより，これら2つの概念が相補的に影響を与えることで，より高精度な学習が可能となった．実際にロボットが取得したデータから学習した結果，各概念の学習精度が向上し，さらに一方の情報から他方を予測する予測精度が向上した．
また，共同注意を用いることで，多くの物体が存在する実環境において概念を学習可能な手法を開発した．提案手法は，人が物体を教示する際には，人もその方向を見ている可能性が高いという情報を利用する．ただし，計測した視線方向はノイズが多く，それだけでは対象物体を特定することは困難である．そこで，ロボットが持っている概念モデルを用いて，視線方向にある物体と，人から与えられる教示発話の整合性を評価することで，対象物体を高精度に特定可能とした．実験では，様々な物体が置かれた実環境において，物体概念が学習可能か検証した．その結果，複数の物体が近接して置かれている状況や，対象物体が離れた位置にあるような状況など，従来の学習方法では困難であった状況においても学習が可能となった．
|
