2022 Fiscal Year Research-status Report
ユーザの思い描いた動作を生成可能な深層ニューラルネットワークモデルの構築
| Project/Area Number |
22K12335
|
|---|
| Research Institution | Toyo University |
|---|
Principal Investigator |
村上 真 東洋大学, 総合情報学部, 准教授 (80329119)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層ニューラルネットワーク / 生成モデル / GAN / StyleGAN / キャラクタアニメーション / 3次元コンピュータグラフィックス / 動作生成 / 動作制御 |
|---|
| Outline of Annual Research Achievements |
3次元コンピュータグラフィックスを使用した映像コンテンツには人型のキャラクタが登場することが多く，キャラクタの動作を生成・制御することは重要なタスクである．本研究では，3次元コンピュータグラフィックスのキャラクタアニメーションの制作を容易にすることを目的とし，ユーザが思い描いた通りのキャラクタの動作を生成できるシステムの構築を目指す．具体的には，映画監督が俳優に言葉で演技指導を行うように，ユーザが言語を用いて指示することで3次元コンピュータグラフィックスのキャラクタの動作を生成・制御できるシステムを構築する．本研究では，動作の生成過程は複雑で非線形だと考え，この過程を深層ニューラルネットワークによりモデル化する．
2022年度には，深層ニューラルネットワークの学習に使用するモーションキャプチャデータの収集・整形を行い，StyleGANを使用した動作生成モデルを構築した．StyleGANには様々な動作特徴を学習によって獲得し，局所的な特徴から大局的な特徴までレベル毎に記憶する機能と記憶された様々な動作特徴を適切に選択することで自然な動作を生成できる機能がある．また，StyleGANは動作を生成する途中の過程（中間潜在空間）において特徴量を選択することで生成した動作を制御できる可能性があることから，StyleGANを使用して動作生成モデルを構築した．構築したモデルは多様で自然な動作を生成できることと，同じカテゴリの動作が提案モデルの中間潜在空間において近い位置に分布していることを確認した．また，中間潜在空間において動作特徴量を選択することにより動作を制御できる可能性があることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画書に記載した3年間の研究期間中に行うことを大別すると，(1)動作データセットの収集・整形・管理，(2)深層ニューラルネットワークを用いた動作生成・制御モデルの構築，(3)言語を用いた指示により動作を制御できるシステムの構築の3点である．
初年度である2022年度には，(1)動作データセットの収集・整形・管理は全て終了し，動作データは様々なモデルの学習に使用できるような形式としてサーバに保存され，動作データを扱うための各種ライブラリも整備された状態になっている．(2)深層ニューラルネットワークを用いた動作生成・制御モデルの構築では，StyleGANを用いた動作生成モデルを構築し，構築したモデルは多様で自然な動作を生成できることを確認した．
以上より，3年計画の初年度で(1)と(2)の一部（生成部分）が完了し，今後は(2)の残りの部分（制御部分）と(3)を行う予定であるため，おおむね順調に進展していると評価した．
|
| Strategy for Future Research Activity |
2022年度には，StyleGANを用いた動作生成モデルを構築し，構築したモデルは多様で自然な動作を生成できることを示した．今後は，動作を生成する途中の過程において動作特徴量を選択することにより，動作制御を行うことができるモデルを構築する予定である．次に，言語を用いた指示により動作を制御できるシステムを構築する．具体的には，文章と動画像を入力するとそれらの類似度を出力することができる深層ニューラルネットワークVideoCLIPを本研究で構築する動作生成・制御モデルの後段に配置する．ユーザが入力する動作指示（文章）とモデルによって生成される動作データを元にレンダリングされた動画像をVideoCLIPに入力し，それらの類似度を求める．類似度が小さくなるように動作特徴量を選択することで動作制御を行い，ユーザが指示した内容に近い動作を生成する．最後に，被験者実験により提案システムがユーザの意図した通りの動作を生成・制御可能であるかを評価する予定である．
|
| Causes of Carryover |
残額が3,800円と少額であり，学会参加費や旅費に使用することができなかったため，次年度に学会参加費として使用する予定である．
|
