| 研究課題/領域番号 |
19K20349
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
郷津 優介 東京大学, 生産技術研究所, 特任研究員 (80816827)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | ヒューマンオブジェクトインタラクション / 物体検出 / 行動検出 / 状態変化予測 / データセット収集 |
|---|
| 研究実績の概要 |
本研究の目的は，データセットの蓄積が困難である家庭内の人間の動作とその内容を説明するテキストに対して，提案する行動・言語間の系列変換モデルにより生成したバリエーションのある擬似的な動作・テキストまでデータセットとして利用することで動作認識の性能が向上することを明らかにすることである．昨年度までに，人間の動作を入力としてその内容をテキストで説明する手法を提案・開発し，既存手法を上回る精度を達成できた．本年度は，テキストからそれに対応する動作の生成に関連するタスクに取り組んだ．対象とする家庭内の動作は周囲環境との接触を多く含むようになるため，生成する動作が実際のものと同様に物体とのインタラクションを成功させるものであることがリアリティの観点から重要になってくる．そのため，映像中の物体インタラクションを含む動作と物体に起こる様々な状態変化の関係を扱うモデルを提案した．提案モデルでは，物体の状態変化前後を比較して得られる対照部分の画像特徴を，動作ラベルから推定できる文脈情報を含んだ状態変化を表す言語特徴に近似するように学習することで画像・言語間の対応関係を構築する．これにより対象物体のある状態に対して動作を実行した後の状態変化を予測できるようになり，そこから生成された動作に対する物体インタラクションの成功有無を判断できるようになる．また，大規模な映像データセットを利用して提案手法用のデータセットを収集した．ここでは家庭内の動作で物体インタラクションを含むという観点から料理をドメインとした．データセットの収集過程では，映像中の物体インタラクションを含む動作区間を切り出し，物体の状態変化前後の様子を映した画像ペアに対して必要なアノテーションを付与している．今後は，提案手法を開発して収集したデータセットに適用し，動作生成のリアリティの判定に有効であるかを確認していく．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
前年度は，既存の行動・言語データセットを利用して人間の動作からその内容を説明するテキストの生成に関連するタスクに取り組んだ．当初の計画では，仮想現実環境を利用した効率的なデータセットの収集，つまり簡易的なモーションキャプチャを装着して実際の人間の動作と仮想現実空間内にいるエージェントの動作を同期させることで動作を収集していく予定であった．しかし，本年度の半ばで所属が変わってしまったため，そのデータセットの収集が実行できなくなった．また，現所属で担当しているプロジェクトの関係もあり，研究目的の作業から遠ざかってしまう期間が長くなったため，テキストから動作を生成するタスクは未達の状態である．効率的なデータセットの収集を考えた場合，動作計測のようにコストが掛かる過程を省略できる動作生成の方が重要な意義を持ってくるため，テキストから動作の方向でも早急に開発・実験を進めていく必要がある.
|
| 今後の研究の推進方策 |
所属が変わっても専用のヘッドマウントディスプレイやコードレスのモーションキャプチャなどは独自に購入できるが，仮想現実環境を利用した諸々の作業は前所属のシステムに依存しているため，その方法でのデータセット収集は難しい．仮想現実環境を利用する目的は，簡易的な装置だけでも効率的にデータセットの収集ができることを示すことにあったが，上記の理由により行動・言語などのマルチモーダルなデータセットには既存のものを利用するだけに留める．また，年齢・性別・感情などの変化によるバリエーションを持たせた動作を生成する予定であったが，現所属の研究内容との関係によりバリエーションのある動作よりも物体とのインタラクションを正しく成功させる動作の生成に重点を置くことにした．また，動作生成のタスクは，これまでに提案してきた系列変換モデルを用いて双方向生成という形で実現していくつもりであったが，テキストよりも多次元且つ連続的な系列データを生成する必要があるため，提案手法では高精度な生成結果が得られなかった．そのため，これに関しては一つのモデルによる双方向生成に拘らずに，動作生成の既存手法などを適用・拡張することも検討する．
|
| 次年度使用額が生じた理由 |
本年度は，コロナ禍の影響で学会がオンラインになり，参加費や旅費などの出費が減ったことが理由の一つに挙げられる．また，物体インタラクションを含む動作と物体に起こる状態変化の関係を扱うためのデータセットを収集したため，アノテーションの確認作業などのデータセット整備に使用する計画である．
|
