| 研究課題/領域番号 |
22K12335
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62040:エンタテインメントおよびゲーム情報学関連
|
|---|
| 研究機関 | 東洋大学 |
|---|
研究代表者 |
村上 真 東洋大学, 総合情報学部, 准教授 (80329119)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2024年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2023年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
|
|---|
| キーワード | 深層ニューラルネットワーク / 生成モデル / GAN / StyleGAN / キャラクタアニメーション / 3次元コンピュータグラフィックス / 動作生成 / クラス条件付き生成 / 動作制御 / 人物動作 / ディープラーニング |
|---|
| 研究開始時の研究の概要 |
3次元コンピュータグラフィックスを使用した映像コンテンツには人型のキャラクタが登場し，人のように行動することが多い．本研究では，映画監督が俳優に言葉で演技指導を行うように，ユーザが言語を用いて指示することでキャラクタの動作を生成・制御することができる深層ニューラルネットワークモデルを構築する．これにより，ユーザが思い描いた通りの動作をキャラクタにさせることができるようになる．
|
| 研究実績の概要 |
3次元コンピュータグラフィックスを使用した映像コンテンツには人型のキャラクタが登場し，人のように行動することが多く，キャラクタの動作を生成することは重要なタスクである．本研究では，3次元コンピュータグラフィックスのキャラクタアニメーションの制作を容易にすることを目的とし，ユーザが思い描いた通りのキャラクタの動作を生成できるシステムの構築を目指す．具体的には，映画監督が俳優に演技指導を行うように，ユーザが指示することで3次元コンピュータグラフィックスのキャラクタの動作を生成できるシステムを構築する．本研究では，動作の生成過程は複雑で非線形だと考え，この過程を深層ニューラルネットワークによりモデル化する．
2023年度には，ユーザが動作の種類（クラス）を指定することで指定されたクラスに応じた動作を生成するシステムを構築した．2022年度に構築した動作生成モデルと，入力された動作データからその動作を可視化した動画像を出力するレンダリングネットワークと，入力された動画像から動作クラスの確率を出力する動作分類器の3つのニューラルネットワークを組み合わせることで，指定したクラスの動作を生成した．具体的には，動作生成モデルがランダムに生成した動作データをレンダリングネットワークを用いて動画像に変換し，それを動作分類器に入力することで各クラスに対する確率を求める．次に，指定したクラスに対する確率が大きくなる方向に動作生成モデルの潜在変数を更新する．これを繰り返すことで指定したクラスの動作を生成した．実験の結果，提案手法により，いくつかの動作クラスにおいて適切な動作が生成できることを確認した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究計画書に記載した3年間の研究期間中に行うことを大別すると，(1)動作データセットの収集・整形・管理，(2)深層ニューラルネットワークを用いた動作生成モデルの構築，(3)ユーザからの指示により動作を生成できるシステムの構築の3点である．
2022年度には，(1)動作データセットの収集・整形・管理と(2)深層ニューラルネットワークを用いた動作生成モデルの構築を終わらせ，構築したモデルは多様で自然な動作を生成できることを確認した．2023年度には，(3)ユーザからの指示により動作を生成できるシステムの構築として，動作の種類（クラス）を指定することで指定されたクラスに応じた動作を生成するシステムを構築し，いくつかの動作クラスにおいて適切な動作が生成できることを確認した．
以上より，3年計画の2年で(1)と(2)と(3)が完了し，今後は(3)の性能を向上させる予定であるため，おおむね順調に進展していると評価した．
|
| 今後の研究の推進方策 |
2023年度には，ユーザが動作の種類（クラス）を指定することで指定されたクラスに応じた動作を生成するシステムを構築し，いくつかの動作クラスにおいて適切な動作が生成できることを確認した．今後は，適切な動作が生成できなかった動作クラスに対しても正しい動作が生成されるようにモデルを改良する予定である．具体的には，動作データから動画像への変換に微分可能レンダリングを使用することで，クラス条件付き動作生成の性能を向上させる予定である．最後に，提案システムが指定したクラスの動作を生成可能であるかを評価する予定である．
|
