| 研究課題/領域番号 |
21K19822
|
|---|
| 研究種目 |
挑戦的研究(萌芽)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分62:応用情報学およびその関連分野
|
|---|
| 研究機関 | 豊橋技術科学大学 |
|---|
研究代表者 |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| 研究分担者 |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| 研究期間 (年度) |
2021-07-09 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2022年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2021年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
|
|---|
| キーワード | キャラクタ・アニメーション / 音声駆動型身振り制御 / 身体動作の3次元操作 / 多重解像度パッチ照合 / 特徴空間の統合 / ３次元運動操作 / 多重解像度・階層的パッチ照合 / 生成的動作制御 / 仮想人間の制御 / デジタル・ヒューマン / 生成型深層学習 / 対話的教示学習 / ３次元運動入力 / 人間動作の操作 / 対話的教示 / 特徴空間 / 深層学習 / ヒューマノイド・アニメーション |
|---|
| 研究開始時の研究の概要 |
仮想人間を用いた既存のオンライン・コミュニケーションでは、全身の動きや振る舞いは計測動作をそのままあてはめるか、事前登録された動きをデバイス操作で選択的に再生する方法が用いられている。しかし、前者の方法では計測精度や演技力が品質に大きく影響し、後者の方法では動きのバリエーションが乏しく豊かな表現での振る舞いが困難である。
本研究では、簡単な入力操作によって仮想人間の表現豊かな動作や身振りを実時間生成するために、入力信号の効果的かつ直観的な変換機構を自動獲得することを目的とする。そのために、既存のデバイス操作や手指の動き、および音声等を用いた対話的な教示を介して、特徴空間を学習する機構を開拓する。
|
| 研究成果の概要 |
CGキャラクタを直観的に操作するための特徴空間の教示学習法として、様々な歩容動作と手指操作を対応づける教示方法に取り組み、動きの周波数毎の強度と位相情報を抽出できるネットワークを導入して、手指の動きと全身動作を柔軟かつ安定に関連付ける機構を開発し、一定の効果を確認した。
次に、発話音声を教示手段とみなした場合の身振り動作を、特徴量のパターン照合のみにより生成する手法を開発した。粗い解像度では音声に対する同期と生成動作の多様性を獲得し、詳細な解像度では素材データの特徴を復元する手法を開発した。また、データ構造を上下半身に分離し下半身に対しては音声の影響を除外することで、運動学的な誤差を軽減できた。
|
| 研究成果の学術的意義や社会的意義 |
仮想人物の身体動作を対話的に操作する手段として、動作の位相特徴量に着目した要素分解による手指の動きとの対応の教示学習を試みたものの、手指の動きの限界やその再現の困難さ等が原因で、表現に富んだ自然な動きを安定に学習させるには至らなかった。この結果を踏まえて、教示の手段を音声に変更し、身振り動作とは個別に計算する特徴量間の距離を柔軟に統合してパターン照合することにより、両者の時間同期と連動を安定して教示できたことは学術的な意義がある。また、この手段を音声以外にも拡張することにより、様々な方法を用いた深層学習を介さない身体動作の教示法の可能性を示せた点はエンタテイメント分野での波及効果が期待できる。
|
