| 研究課題/領域番号 |
19H04231
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62040:エンタテインメントおよびゲーム情報学関連
|
|---|
| 研究機関 | 豊橋技術科学大学 |
|---|
研究代表者 |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| 研究分担者 |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
17,030千円 (直接経費: 13,100千円、間接経費: 3,930千円)
2023年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2022年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2021年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2020年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2019年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
|
|---|
| キーワード | モーションデータ / 身振り動作 / スタイル転移 / ビジョン・トランスフォーマ / ヒューマノイド・アニメーション / パターン照合 / 深層学習 / 動作パッチ / 身振り動作のスタイル変換 / ジェスチャ生成 / 多重解像度パターン照合 / 生成的スタイル変換 / キャラクタ・アニメーション / キャラクタアニメーション / 仮想分身（アバター） / デジタルヒューマン / ジェスチャスタイル変換 / モーションキャプチャデータ / ＣＧアニメーション / ニューラルネットワーク / トランスフォーマ / 身振り動作生成 / スタイル変換 / ジェスチャ表現 / アバター / 動作スタイル変換 / CGアニメーション |
|---|
| 研究開始時の研究の概要 |
ＶＴｕｂｅｒ等で利用が拡大している３ＤＣＧアバターの非言語的なコミュニケーションの品質を向上させるためには、外見から受ける印象や感情に即した様態に動作を演出する必要がある。しかし、既存のアニメーション技術は歩行や格闘などの動力学的な最適化が可能な動きに適用範囲が限定されており、様態の微妙な違いをスタイルとして捉えて演出できる様な、実時間での生成・変換技術は未だ実現されていない。
本研究では、演技を計測したデータを用い、アバターの個性や表情を生み出す動作やジェスチャの特徴を学習して即時変換する手法を開発する。この技術により、仮想身体を用いた新たな社会交流や演芸等のエンタテインメント環境を創出する。
|
| 研究成果の概要 |
ニューラルネットワークによる動作のスタイル転移手法として、白色化を介した潜在変数を一定時間毎に区切った動作パッチのパターン類似度に基づく置換方法が最高性能であることを発見した。また、身振り動作のスタイル学習に用いるデータセットを体系的に構築して一般公開した。
その拡張として、スタイル動作のパッチを時間伸縮させながら幅広く参照できるパターン照合手法を開発し、タイミングが異なり変化の激しい動作に対するスタイル転移の性能を向上させた。
さらに、トランスフォーマモデルを用いて、トークン化された動作パッチ特徴の前後関係から文脈に相当する情報を抽出し、身振り動作の意味的構造を捉えたスタイル転移手法を開発した。
|
| 研究成果の学術的意義や社会的意義 |
深層学習を用いた動作のスタイル変換は様々な手法が提案されているが、身振りを対象とした手法は発話内容から動作生成する手法の拡張機能として開発された生成的な手法のみであり、その表現力の欠如に問題があった。本研究では、素材となるスタイル動作を潜在変数空間で置換するアプローチにより、生成的手法では成し得なかった高性能なスタイル転移を可能とした点に学術的な意義がある。
本研究で開発した技術により身振りの表現力が高められ、新たなデータに対する再学習が不要で生成時の計算量も少ない利点は、仮想的な没入空間における分身（アバター）を用いたコミュニケーション環境の高度化に資するものであり、社会的な意義を有する。
|
