| 研究課題/領域番号 |
19H04231
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62040:エンタテインメントおよびゲーム情報学関連
|
|---|
| 研究機関 | 豊橋技術科学大学 |
|---|
研究代表者 |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| 研究分担者 |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
遠藤 結城 筑波大学, システム情報系, 助教 (00790396)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2024-03-31
|
| キーワード | モーションデータ / 身振り動作 / スタイル転移 / ビジョン・トランスフォーマ / ヒューマノイド・アニメーション / パターン照合 / 深層学習 / 動作パッチ |
|---|
| 研究成果の概要 |
ニューラルネットワークによる動作のスタイル転移手法として、白色化を介した潜在変数を一定時間毎に区切った動作パッチのパターン類似度に基づく置換方法が最高性能であることを発見した。また、身振り動作のスタイル学習に用いるデータセットを体系的に構築して一般公開した。
その拡張として、スタイル動作のパッチを時間伸縮させながら幅広く参照できるパターン照合手法を開発し、タイミングが異なり変化の激しい動作に対するスタイル転移の性能を向上させた。
さらに、トランスフォーマモデルを用いて、トークン化された動作パッチ特徴の前後関係から文脈に相当する情報を抽出し、身振り動作の意味的構造を捉えたスタイル転移手法を開発した。
|
| 自由記述の分野 |
深層学習に基づくヒューマノイド・アニメーション
|
| 研究成果の学術的意義や社会的意義 |
深層学習を用いた動作のスタイル変換は様々な手法が提案されているが、身振りを対象とした手法は発話内容から動作生成する手法の拡張機能として開発された生成的な手法のみであり、その表現力の欠如に問題があった。本研究では、素材となるスタイル動作を潜在変数空間で置換するアプローチにより、生成的手法では成し得なかった高性能なスタイル転移を可能とした点に学術的な意義がある。
本研究で開発した技術により身振りの表現力が高められ、新たなデータに対する再学習が不要で生成時の計算量も少ない利点は、仮想的な没入空間における分身（アバター）を用いたコミュニケーション環境の高度化に資するものであり、社会的な意義を有する。
|
