| 研究課題/領域番号 |
19K20349
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 東京大学 (2020-2021)
国立情報学研究所 (2019) |
|---|
研究代表者 |
郷津 優介 東京大学, 生産技術研究所, 特任研究員 (80816827)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2019年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
|---|
| キーワード | 動作認識 / 行動認識 / 言語生成 / 身体動作 / 系列変換 / 敵対的学習 / ニューラルネットワーク / ヒューマンオブジェクトインタラクション / 物体検出 / 行動検出 / 状態変化予測 / データセット収集 / モーションキャプチャー / 動作生成 / 運動と言語 / インタラクション / 仮想現実 / データ拡張 |
|---|
| 研究開始時の研究の概要 |
本研究では，家庭内のインタラクションを含む動作を対象としており，モーションキャプチャを用いて操作した没入型の仮想現実空間内でのエージェントによる動作パターンと動作の内容を表した複数の説明文のペアを含むデータセットを構築する．次に，目的とする動作を表した説明文からそれに対応する動作パターンを生成する手法を提案・評価し，仮想現実空間上で物体などの周囲環境に適切な変化を与える動作が生成できることを確認する．さらに，生成された基準動作から年齢・性別・感情の変化によるバリエーションを持たせた様々な動作パターンに変換し，それをデータセットとして利用することで動作認識の性能が向上することを明らかにする．
|
| 研究成果の概要 |
本研究では，人間の全身動作とテキストはそれぞれ姿勢と単語からなる同じ系列データとして，系列変換モデルを用いた行動と言語の融合研究，その中でも主に動作の言語記述に関する研究を行った．系列の正当性の評価を従来のように逐次的に要素ごとに行うのではなく，要素の探索により終端状態にまで達した系列全体を評価する枠組みを取り入れ，その結果を系列変換モデルの学習に利用する手法を提案した．これにより，長い系列の生成に対して予測誤差が少なくなり，単に「歩く」だけでなく「数歩だけ前に歩く」や「弧を描くように歩く」などのように，観測した動作を詳細に記述するテキストまで生成できることを実現した．
|
| 研究成果の学術的意義や社会的意義 |
人間の動作を詳細に記述できるということは，動作の細かな差異とそれに対応するテキストの関係を捉えられる，即ち行動と言語の高度な表現関係まで取り扱えるようになったことを意味する．これにより，例えばスポーツ解析などにおいて，上級プレイヤーの熟練された動作を予め学習しておくことで初級プレイヤーとの差異を指摘し，更にはどのように動作を修正すれば上達できるかを助言するなどの動作支援への応用に繋がる．このことは，周りに熟練者がいなくてもシステムとのインタラクションを通してコーチングを受けることができるという点で社会的に非常に重要である．
|
