| 研究課題/領域番号 |
19K12287
|
|---|
| 研究機関 | 東洋大学 |
|---|
研究代表者 |
村上 真 東洋大学, 総合情報学部, 准教授 (80329119)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 深層ニューラルネットワーク / 生成モデル / GAN / VAE / キャラクタアニメーション / 人物動作 |
|---|
| 研究実績の概要 |
本研究の目的は，人間の動作の生成過程と推論過程を深層ニューラルネットワークによりモデル化し，モーションキャプチャシステムにより収録された動作データを用いて学習することで両過程を明らかにすることである．
2020年度にはVariational AutoEncoder(VAE)を使用した動作生成モデルを構築した．VAEでは，低次元の潜在空間からサンプリングされた潜在変数から非線形な確率過程を経て高次元な動作データが生成されると考える．また，動作は時間の経過とともに姿勢が変化する時系列データとして表現されるため，時間方向の依存関係を表現する必要がある．本研究では時間方向の依存関係を表現することができるRecurrent Neural Network(RNN)と生成モデルであるVAEを組み合わせた動作生成モデルを提案した．提案モデルでは多階層のニューラルネットワークにより動作特徴量を抽出し，低次元の潜在変数空間に確率分布として動作特徴を表現している．モーションキャプチャデータセットを用いて学習した結果，提案モデルは8次元の潜在変数空間からサンプリングすることで多様な動作を生成できることと，生成された動作の各フレームの姿勢は自然であることを確認した．
3次元コンピュータグラフィックスを使用した映画やゲームには人型のキャラクタが登場することが多く，キャラクタの動作を生成・制御・編集することは重要なタスクである．本研究で提案する動作生成モデルによりキャラクタアニメーションの制作が容易になることが期待できる．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究計画調書に記載した3年間の研究期間中に行うことは，(a)動作データセットの収集・整形・管理，(b)動作生成モデルの構築，(c)動作認識モデルによる半教師あり学習の3点である．
2019年度に(a)動作データセットの収集・整形・管理は全て完了し，動作データは様々なモデルの学習に使用できるような形式としてサーバに保存され，動作データをハンドリングするためのライブラリ等も整備された状態になっている．(b)動作生成モデルの構築では，2019年度にGenerative Adversarial Networks(GAN)を用いた動作生成モデルを，2020年度にはVAEを用いた動作生成モデルを構築し，おおむね良好な結果を得た．前者については2019年度に国内研究会で2件，2020年度に国際会議で1件の発表を行い，後者については2020年度に国内研究会で1件の発表を行った．
3年計画の2年間で(a)と(b)が完了しており，今後は(b)に関する研究成果を論文としてまとめて投稿し，並行して(c)を行う予定である．以上より，おおむね順調に進展しているという評価とした.
|
| 今後の研究の推進方策 |
VAEを用いた動作生成モデルで生成した動作の各フレームの姿勢は自然であったが，時間方向の姿勢の変化が滑らかでなかった．これは動作の短時間の連続性をモデル化できていないためだと思われる．2021年度は短時間の動作の依存関係をモデル中で表現できるように改良する予定である．
また，深層ニューラルネットワークを用いた生成モデルでは，動作の推論・識別過程も深層ニューラルネットワークとして表現し，学習することになるため，推論・識別過程のモデルは動作の認識問題にも使用できる．特に，動作データ自体は大量に用意できるが，正解動作カテゴリが付与されているデータが少数である場合（半教師あり学習）に有効である.今後は，動作認識モデルによる半教師あり学習を行う予定である．
|
| 次年度使用額が生じた理由 |
残額が1,469円と少額であり，学会参加費や旅費に使用することができなかったため，次年度に学会参加費として使用する予定である．
|
