2023 Fiscal Year Research-status Report
ユーザの思い描いた動作を生成可能な深層ニューラルネットワークモデルの構築
| Project/Area Number |
22K12335
|
|---|
| Research Institution | Toyo University |
|---|
Principal Investigator |
村上 真 東洋大学, 総合情報学部, 准教授 (80329119)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層ニューラルネットワーク / 生成モデル / GAN / StyleGAN / キャラクタアニメーション / 3次元コンピュータグラフィックス / 動作生成 / クラス条件付き生成 |
|---|
| Outline of Annual Research Achievements |
3次元コンピュータグラフィックスを使用した映像コンテンツには人型のキャラクタが登場し，人のように行動することが多く，キャラクタの動作を生成することは重要なタスクである．本研究では，3次元コンピュータグラフィックスのキャラクタアニメーションの制作を容易にすることを目的とし，ユーザが思い描いた通りのキャラクタの動作を生成できるシステムの構築を目指す．具体的には，映画監督が俳優に演技指導を行うように，ユーザが指示することで3次元コンピュータグラフィックスのキャラクタの動作を生成できるシステムを構築する．本研究では，動作の生成過程は複雑で非線形だと考え，この過程を深層ニューラルネットワークによりモデル化する．
2023年度には，ユーザが動作の種類（クラス）を指定することで指定されたクラスに応じた動作を生成するシステムを構築した．2022年度に構築した動作生成モデルと，入力された動作データからその動作を可視化した動画像を出力するレンダリングネットワークと，入力された動画像から動作クラスの確率を出力する動作分類器の3つのニューラルネットワークを組み合わせることで，指定したクラスの動作を生成した．具体的には，動作生成モデルがランダムに生成した動作データをレンダリングネットワークを用いて動画像に変換し，それを動作分類器に入力することで各クラスに対する確率を求める．次に，指定したクラスに対する確率が大きくなる方向に動作生成モデルの潜在変数を更新する．これを繰り返すことで指定したクラスの動作を生成した．実験の結果，提案手法により，いくつかの動作クラスにおいて適切な動作が生成できることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画書に記載した3年間の研究期間中に行うことを大別すると，(1)動作データセットの収集・整形・管理，(2)深層ニューラルネットワークを用いた動作生成モデルの構築，(3)ユーザからの指示により動作を生成できるシステムの構築の3点である．
2022年度には，(1)動作データセットの収集・整形・管理と(2)深層ニューラルネットワークを用いた動作生成モデルの構築を終わらせ，構築したモデルは多様で自然な動作を生成できることを確認した．2023年度には，(3)ユーザからの指示により動作を生成できるシステムの構築として，動作の種類（クラス）を指定することで指定されたクラスに応じた動作を生成するシステムを構築し，いくつかの動作クラスにおいて適切な動作が生成できることを確認した．
以上より，3年計画の2年で(1)と(2)と(3)が完了し，今後は(3)の性能を向上させる予定であるため，おおむね順調に進展していると評価した．
|
| Strategy for Future Research Activity |
2023年度には，ユーザが動作の種類（クラス）を指定することで指定されたクラスに応じた動作を生成するシステムを構築し，いくつかの動作クラスにおいて適切な動作が生成できることを確認した．今後は，適切な動作が生成できなかった動作クラスに対しても正しい動作が生成されるようにモデルを改良する予定である．具体的には，動作データから動画像への変換に微分可能レンダリングを使用することで，クラス条件付き動作生成の性能を向上させる予定である．最後に，提案システムが指定したクラスの動作を生成可能であるかを評価する予定である．
|
| Causes of Carryover |
残額が9,054円と少額であり，学会参加費や旅費に使用することができなかったため，次年度に学会参加費として使用する予定である．
|
