2018 Fiscal Year Research-status Report
時系列マルチモーダル情報の分節化と分類に基づくロボットの概念モデルの構築
| Project/Area Number |
17K12758
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
中村 友昭 電気通信大学, 大学院情報理工学研究科, 助教 (50723623)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 概念形成 / 教師なし学習 / 隠れセミマルコフモデル / マルチモーダル / 階層ベイズ |
|---|
| Outline of Annual Research Achievements |
平成30年度は，昨年提案した概念形成アルゴリズムの改良・評価を行った．提案手法は，ロボットから取得可能な画像や関節各系列といった時系列マルチモーダル情報を分節・分類することで，物体概念や動作概念を形成し，それらの関係性を学習可能なモデルである．このモデルを用いて，実際にロボットから取得した，より規模の大きいデータを用いて評価を行い，提案手法の問題点を明らかとした．また，より高次元のデータが扱えるよう，分節化のモデルとVariational Autoencoderを組み合わせたモデルを提案した．このモデルでは，分節化と時系列データの圧縮を相互に行うことで，高次元の時系列データを分節化に適した空間へと圧縮することが可能である．実際に，動作のデータを用いて実験を行った結果，高次元の時系列データを圧縮し，適切に分節・分類することが可能であることが確認された．
さらに，動作・物体とさらに言語の関係性を学習するモデルへと拡張を行った．このモデルでは，画像はLatent Dirichlet Allocaitonを用いて記号化し，さらに動作の関節各系列は前述の分節化のモデルにより動作プリミティブへと変換することで記号化する．これら記号列と言語の間の関係をLong Short-Term Memoryを用いて学習することで，言語と画像入力から動作を生成することを可能とした．提案手法の有効性を確認するため，ロボットの前においてある物体を操作する予備実験を行い，言語指示から適切な動作を生成可能であることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
時系列マルチモーダル情報を分節・分類することで概念を形成するアルゴリズムの改良を行い，昨年より規模の大きいデータを用いて，その有効性を検証した．さらに，高次元のデータを扱うことが可能なアルゴリズムの開発，またニューラルネットワークと統合することで，言語指示から動作を生成するアルゴリズムを開発した．これらの研究成果は，国内外の学会で発表しており，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
平成30年度に行った実験結果をもとに，モデルの問題点を明らかにし改良を行う．また．獲得した概念を利用した言語理解手法に関しては，まだ予備実験段階であるため，今後は，より規模の大きい実データを用いて検証を行う．
|
