2021 Fiscal Year Annual Research Report
時系列マルチモーダル情報の分節化に基づくロボットの適応的な行動学習と生成
| Project/Area Number |
21J11346
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
長野 匡隼 電気通信大学, 情報理工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Keywords | 分節化 / ロボティクス / ガウス過程 / 自然言語処理 / マルチモーダル / 機械学習 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
ロボットが多様な環境や文脈に応じて柔軟に行動するために、知覚する動作や物体、音声などのマルチモーダルなセンサ情報を教師なしで意味を持つまとまり（分節）に分割し、類似するカテゴリに分類するモデルの構築を行った。令和3年度では「マルチモーダル情報の分節化」及び「動作や環境を予測可能なモデル」、「単語と分節のマッピング手法」を大きな柱として研究を行った。
マルチモーダル情報の分節化では、畳み込み変分オートエンコーダで観測値を潜在空間へと圧縮し、隠れセミマルコフモデルとガウス過程により、ロボットが知覚した高次元のマルチモーダルな時系列情報の分割及び分類（分節化）を可能とする統計モデルの開発を行った。これにより、同一の動きでも動作情報以外のモダリティ情報から異なる意味の動作として学習、生成が可能となり、環境に応じた柔軟な行動生成が可能となる。
動作や環境を予測可能なモデル開発では、この統計モデルを基に、音声情報と動作情報の複雑な関係を表現するために条件付確率場を導入し、過去のマルチモーダルな情報から現在の環境で最適な動作を予測、生成可能なモデルへ研究発展を行った。
さらに、人の言語指示に対応した行動の生成や、人の感覚に合った分節を獲得するために、単語と分節をマッピングする研究開発を行った。ロボットが様々な物体が配置されている環境の中から、人が教示している物体を推定し、人の発話した単語とマッピングすることにより語意の獲得を行うモデルを開発した。
また、複雑な時系列情報から様々な分節を獲得することにより行動の予測や生成の柔軟性の向上が期待できる。そこで、音節や単語に分割可能な階層性のある音声波形のような知覚情報を教師なしで階層的に分節化するために、統計モデルの拡張やパラメータ推論の効率化を行った。
これらの研究成果を論文誌や国内の学会に投稿、発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和3年度に計画した大きな課題に関してはおおむね順調に進展させることができたと考えられる。しかし、以下の予期せぬ理由により進捗がやや遅れていると自己評価した。
（１）新型コロナウイルス感染予防のため、予定していた実環境でのロボット実験ができなかった。
（２）シミュレーション環境での実験によりモデルの検証を行い、ある程度の成果が得られたが、予定していた実環境のデータを用いた評価が不十分である。
（３）階層性を考慮した分節化を行うために、事前に計画した課題とは別に新たなモデルを開発、検証することにより、ある程度の成果が得られた。
|
| Strategy for Future Research Activity |
令和4年度では、これまでの研究成果を取りまとめ、ホームロボティクスや機械学習分野を発展させるために以下の方策で取り組む。
（１）これまでに開発した統計モデルを統合し、実環境でのロボットを用いた評価実験を行う。
（２）開発した統計モデルを基に、試行錯誤により過去の環境の情報を基に現在の環境で最適な行動を予測し実行するモデルの開発を行う。
（３）実験結果を取りまとめ、国内外の学会や論文誌で発表することにより、国内外からのフィードバックを得て、更なる改善を図る。
|
