| 研究課題/領域番号 |
19K20349
|
|---|
| 研究機関 | 国立情報学研究所 |
|---|
研究代表者 |
郷津 優介 国立情報学研究所, 情報学プリンシプル研究系, 特任研究員 (80816827)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 動作認識 / 行動認識 / 言語生成 / 身体動作 / モーションキャプチャー / 系列変換 / 敵対的学習 / ニューラルネットワーク |
|---|
| 研究実績の概要 |
本研究の目的は,家庭内での人間の動作とそれに対応する説明文をペアとしてデータセットの規模を効率的に拡大し,それを利用することで動作認識の精度が向上することを明らかにすることである．本年度では，動作と説明文の系列データを双方向変換により生成するためのアルゴリズムを提案・開発した．既存の行動・言語データセットを用いて学習した提案モデルでは，人間の動作からそれを表す説明文だけでなく，説明文からそれに対応する動作まで生成できるが，先行研究も多くて比較的に容易な前者のアプローチから着手した．提案手法は，エンコーダとデコーダと呼ばれるニューラルネットワークからなる系列変換モデルに対して，近年様々な分野で活用されている敵対的学習の枠組みを取り入れたものである．具体的には，系列変換モデルである生成器と入力された系列データが実在データか生成データかを判別する識別器で構成される．また，学習は生成器と識別器の事前学習とそれらを用いた敵対的学習の2段階となっている．実験結果では，エンコーダに対して系列データの過去から未来と未来から過去の双方向からの情報を学習に導入すること，デコーダに対してソース系列とターゲット系列の対応関係に重み付けするアテンション機構を導入することで系列データ生成の精度が向上することを確認した．これは動作のように長い系列データが入力になる場合や動作と説明文のように長さが異なる場合の系列変換ではこれらの方法が有効であることを示す．また，敵対的学習のフレームワークにより行動・言語間の系列変換のタスクにおいても生成精度が向上することを確認し，先行研究を上回る精度を達成した．定性的な評価でも文法的・意味的に正しく説明文が生成されることを確認し，特に同じ“歩く”動作でもその細かい動作の違いや動作の利き手まで正しく説明文で記述できることは今後の研究の発展に繋がる．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本年度は，仮想現実環境を利用したデータセットの収集よりも系列データ生成モデルのアルゴリズムの開発に重点を置いた．そのため実験では既存の行動・言語データセットを用いて提案手法を評価している．ただし，既存のデータセットは大規模ではあるが，周囲環境とのインタラクションを含む家庭内での動作のように複雑なものではないため，改めて研究目的に合わせた行動・言語データセットを収集していく必要がある．また，提案手法により人間の動作からそれを表す説明文を生成してきたが，高精度な説明文生成を達成するまでに予定よりも時間を要してしまい，まだ説明文から動作の生成までは実現できていない．効率的なデータセットの収集を考えた場合には，動作計測などのコストが掛かる後者の方が自動生成には重要な意義を持ってくるため，説明文から動作の方向でも早急に開発・実験を進めていく必要がある．
|
| 今後の研究の推進方策 |
まず，既存の行動・言語データセットを用いて説明文から動作を生成する系列変換モデルを構築する．この場合，デコーダの出力が動作になるため，多次元且つ連続的な系列データを生成する必要がある点が説明文生成タスクの場合と異なる．次に，提案手法による動作生成の拡張性を検証するために，説明文の一部を変更した場合に生成される動作がどのように変化するかを調べる．行動と言語の対応関係はデコーダに導入したアテンション機構による重みマップを用いて確認する．また，インタラクションを含むような家庭内の動作とその内容を記述した説明文をペアとするデータセットを作成し，そのデータセットに対しても提案手法が双方向の系列変換に有効であることを確認する．ただし，家庭内環境の構築や被験者の招集などがコスト的に困難であるため，本研究では仮想現実環境を利用した方法で動作を計測していく．
|
| 次年度使用額が生じた理由 |
本年度は，仮想現実空間内に設置した家庭環境で動作を計測する計画であったが，まだ行動・言語データセットを収集する段階には至らなかった．次年度は，専用のヘッドマウントディスプレイやコードレスで全身動作を計測できるモーションキャプチャデバイスなどを購入し，動作の計測を行うことで研究目的に合わせた行動・言語データセットを作成していく．また，その被験者及びアノテーション作業の人件費としても使用する計画である．
本年度で系列変換の核となる部分のアルゴリズムは完成したので，今後は膨大に収集したデータセットを用いて提案手法の有効性を検証し，他の幅広いタスクにも応用していくことを計画している．その際に，深層学習に適した高性能な計算機を導入する．
|
