| Project/Area Number |
19K20349
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo (2020-2021)
National Institute of Informatics (2019) |
|---|
Principal Investigator |
GOUTSU Yusuke 東京大学, 生産技術研究所, 特任研究員 (80816827)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 動作認識 / 行動認識 / 言語生成 / 身体動作 / 系列変換 / 敵対的学習 / ニューラルネットワーク / ヒューマンオブジェクトインタラクション / 物体検出 / 行動検出 / 状態変化予測 / データセット収集 / モーションキャプチャー / 動作生成 / 運動と言語 / インタラクション / 仮想現実 / データ拡張 |
|---|
| Outline of Research at the Start |
本研究では，家庭内のインタラクションを含む動作を対象としており，モーションキャプチャを用いて操作した没入型の仮想現実空間内でのエージェントによる動作パターンと動作の内容を表した複数の説明文のペアを含むデータセットを構築する．次に，目的とする動作を表した説明文からそれに対応する動作パターンを生成する手法を提案・評価し，仮想現実空間上で物体などの周囲環境に適切な変化を与える動作が生成できることを確認する．さらに，生成された基準動作から年齢・性別・感情の変化によるバリエーションを持たせた様々な動作パターンに変換し，それをデータセットとして利用することで動作認識の性能が向上することを明らかにする．
|
| Outline of Final Research Achievements |
We have tackled our research related to a fusion of human behavior and language with a sequence-to-sequence translation model, in which human whole-body movement and text are considered as the same sequential data consisting of postures and words respectively, and the main research topic is linguistic description of human motion. Specifically, our approach incorporates a framework for evaluating the validity of entire sequence that has reached the final state through search of sequence elements, and uses the results to train the translation model. This is quite different from previous approaches that evaluate the element-wise prediction sequentially. By reducing the prediction error for the generation of long sequences, not only "walk" but also "walk forwards a few steps" or "walk a quarter circle clockwise" describing observed human motion in detail can be appropriately generated.
|
| Academic Significance and Societal Importance of the Research Achievements |
人間の動作を詳細に記述できるということは，動作の細かな差異とそれに対応するテキストの関係を捉えられる，即ち行動と言語の高度な表現関係まで取り扱えるようになったことを意味する．これにより，例えばスポーツ解析などにおいて，上級プレイヤーの熟練された動作を予め学習しておくことで初級プレイヤーとの差異を指摘し，更にはどのように動作を修正すれば上達できるかを助言するなどの動作支援への応用に繋がる．このことは，周りに熟練者がいなくてもシステムとのインタラクションを通してコーチングを受けることができるという点で社会的に非常に重要である．
|
