| 研究課題/領域番号 |
19K11990
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
金井 崇 東京大学, 大学院総合文化研究科, 准教授 (60312261)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 深層学習 / グラフアテンションネットワーク / スキニング / 髪アニメーション / 敵対的生成ネットワーク / ニューラル画像変換 / Cycle-GAN / キャラクタアニメーション |
|---|
| 研究実績の概要 |
本年度は，主に二つのテーマにおける研究の進展を図った．
一つは，グラフアテンションネットワークを用いたキャラクタの非線形変形についての研究である．スキニングと微調整の繰り返しに費やす時間を削減するため，高品質なスキニングを施したキャラクタのメッシュの既存のグラフ情報をもとに，新しいキャラクタの変形を自動的に計算するエンドツーエンドのアプローチを提案した．ここでは，複雑なグラフデータを扱い，非線形変形を誘導的に予測するために，グラフアテンション (GAT) ブロックを設計している．そして，膨大な量のメッシュ特徴を学習することの難しさを軽減するために,
DenseGAT と呼ばれる GAT ブロック間の密な接続パターンを導入している．本研究では，提案手法のテストを行い，古典的な変形手法や他のグラフ学習ベースの戦略と比較した．実験の結果，我々のネットワークにより，学習データにないキャラクタの非線形変形を予測できることを確認した．
もう一つは，写実的な髪の高速なアニメーションのための研究である．本研究では，フォトリアリスティックな髪アニメーションの敵対的生成ネットワークを基にしたシェーディングモデルを提案した．教師なし生成ネットワークを拡張し，フォトリアリスティックな髪の毛を高速にシェーディングすることを試みる．また，本研究のモデルは，従来のレンダリングアルゴリズムよりも高速で，他のニューラル画像変換手法よりもアーティファクトが少ないことを示している．主なアイデアは，Cycle-GAN 構造を拡張して，半透明の髪の外観の大部分を保存し，シーンのライトとの相互作用を正確に生成することである．我々は，時間的コヒーレンスとハイライトの安定性を維持するために2つの制約を構築した．実験を通じて，従来の手法よりも優れており，計算効率が高いことを実証した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度は，計画にあげた２つの研究テーマについて一定の成果を挙げている．
キャラクタの非線形変形については，グラフニューラルネットワークを用いることで，学習データにないキャラクタの非線形変形を予測できることを実証した．今後は，より汎用的なネットワークにできるかどうかが今後の課題である．
髪の高速なアニメーションについては，GANベースの教師なしネットワークによって，従来にはない計算効率の高い手法を実証できた．今後はより実用的なシステムにするため，通常のレンダリングパイプラインに組み込む必要がある．
２つの研究ともに，手法の改良によってより良い結果が期待できるものと考えている．
|
| 今後の研究の推進方策 |
今後は，引き続き２つの研究テーマについて，手法の拡張を視野に研究を進めていく．
キャラクタの非線形変形について，これまで提案したネットワークでは，その学習のために，相当数のポーズを持つ大規模なキャラクタデータセットが必要となる．このため，ネットワークを一般化して現実的な変形近似を実現するための方策を検討する．ここでは，多重解像度グラフネットワークを利用することで，一般的な特徴をより良く抽出することができ，ネットワークの学習はもはや大量の学習データに大きく依存しないようになることが期待される．
髪の高速なアニメーションについては，より高速なアニメーションを実現するため，疎なガイドヘアから詳細な髪に変換するための条件付きニューラルネットワークについて検討する．また，グラフィックスパイプラインに統合するため，髪と頭部の合成が必須である．このため，ニューラルネットワークで生成するデータとしては，RGB色画像の他に深さデータやαチャンネルデータが必要となり，これらの生成手法についても検討する．
|
| 次年度使用額が生じた理由 |
新型コロナウイルス蔓延に伴い，当初予定していた国際会議に出席できなかったことにより，昨年度分の未使用分と合わせて物品購入に振り替えたものの，出張費として計上していた分の一部が未使用となっている．
次年度の国際会議についても，引き続き新型コロナ流行の影響でオンライン開催に変更になっているものが多い．したがって，今後の状況を見て，今年度未使用分と合わせて物品購入に振り替えることを検討している．
|
