2019 Fiscal Year Research-status Report
深層ニューラルネットワークを用いた人物動作の多様体モデルの構築
| Project/Area Number |
19K12287
|
|---|
| Research Institution | Toyo University |
|---|
Principal Investigator |
村上 真 東洋大学, 総合情報学部, 准教授 (80329119)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 深層ニューラルネットワーク / 生成モデル / GAN / キャラクタアニメーション / 人物動作 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，人間の動作の生成過程と推論過程を深層ニューラルネットワークによりモデル化し，モーションキャプチャシステムにより収録された動作データを用いて学習することで両過程を明らかにすることである．
2019年度には，深層ニューラルネットワークの学習に使用するモーションキャプチャデータの収集・整形を行い，Generative Adversarial Networks(GAN)を使用した動作生成モデルを構築した．GANは，多様で自然な動作データが生成できる生成モデルと，現実の動作データか生成された動作データかを識別する識別モデルから成り，生成モデルと識別モデルをそれぞれ深層ニューラルネットワークによって表現した．生成モデルは識別モデルが誤って識別するように，識別モデルは正しく識別できるように，学習データを使用してニューラルネットワークのパラメータを調整する．適切に学習が進めば，多用で自然な動作データが生成できるモデルが構築できるが，GANを用いた生成モデルでは，生成するデータがある1つのデータに収束してしまうMode Collapseと呼ばれる問題がある．これを回避するために，損失関数に最小2乗誤差を使用したLeast Squares GAN(LSCAN)やWasserstein距離を使用したWasserstein GAN(WGAN)が提案されている．本研究では，LSGANとWGANを使用して動作生成モデルを構築した．構築したモデルでは，多様で自然な動作が生成できることを確認した．
3次元コンピュータグラフィックスを使用した映画やゲームには，人型のキャラクタが登場することが多く，キャラクタの動作を生成・制御・編集することは重要なタスクである．本研究で提案する動作生成モデルによりキャラクタアニメーションの制作が容易になることが期待できる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画調書に記載した3年間の研究期間中に行うことは，(a)動作データセットの収集・整形・管理，(b)動作生成モデルの構築，(c)動作認識モデルによる半教師あり学習の3点である．
初年度である2019年度には，(a)動作データセットの収集・整形・管理は全て完了し，動作データは様々なモデルの学習に使用できるような形式としてサーバに保存され，動作データをハンドリングするためのライブラリ等も整備された状態になっている．(b)動作生成モデルの構築では，(1)Variational AutoEncoder(VAE)と(2)Generative Adversarial Networks(GAN)を用いてモデルを構築する予定であるが，2019年度には，GANを用いた動作生成モデルを構築し，おおむね良好な結果を得ている．
以上より，3年計画の初年度で(a)と(b)(2)が完了し，今後は(b)(1)と(c)を行う予定であるため，おおむね順調に進展しているという評価とした．
|
| Strategy for Future Research Activity |
深層ニューラルネットワークを使用した生成モデルには，VAEを使用したものとGANを使用したものがある．2019年度には，動作データを時間方向に固定長のデータとして扱い，GANを用いて動作生成モデルを構築した．今後は，動作データを時間方向に可変長のデータとして扱い，任意の時間長の動作を生成できるモデルを構築する予定である．具体的には，RNNやLSTMといった時間方向の依存関係を表現できるニューラルネットワークとVAEを組み合わせて動作生成モデルを構築する予定である．
深層ニューラルネットワークを用いた生成モデルでは，動作の推論・識別過程も深層ニューラルネットワークとして表現し，学習することになるため，推論・識別過程のモデルは動作の認識問題にも使用できる．特に，動作データ自体は大量に用意できるが，正解動作カテゴリが付与されているデータが少数である場合（半教師あり学習）に有効である．今後は，動作認識モデルによる半教師あり学習を行う予定である．
|
| Causes of Carryover |
残額が1,559円と少額であり，学会参加費や旅費に使用することができなかったため，次年度に学会参加費として使用する予定である．
|
Research Products
(3 results)
