| Project/Area Number |
21K19822
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
Kuriyama Shigeru 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2021: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | キャラクタ・アニメーション / 音声駆動型身振り制御 / 身体動作の3次元操作 / 多重解像度パッチ照合 / 特徴空間の統合 / ３次元運動操作 / 多重解像度・階層的パッチ照合 / 生成的動作制御 / 仮想人間の制御 / デジタル・ヒューマン / 生成型深層学習 / 対話的教示学習 / ３次元運動入力 / 人間動作の操作 / 対話的教示 / 特徴空間 / 深層学習 / ヒューマノイド・アニメーション |
|---|
| Outline of Research at the Start |
仮想人間を用いた既存のオンライン・コミュニケーションでは、全身の動きや振る舞いは計測動作をそのままあてはめるか、事前登録された動きをデバイス操作で選択的に再生する方法が用いられている。しかし、前者の方法では計測精度や演技力が品質に大きく影響し、後者の方法では動きのバリエーションが乏しく豊かな表現での振る舞いが困難である。
本研究では、簡単な入力操作によって仮想人間の表現豊かな動作や身振りを実時間生成するために、入力信号の効果的かつ直観的な変換機構を自動獲得することを目的とする。そのために、既存のデバイス操作や手指の動き、および音声等を用いた対話的な教示を介して、特徴空間を学習する機構を開拓する。
|
| Outline of Final Research Achievements |
We developed an example-based learning for intuitively manipulating CG characters using hand movements. We focused on controlling various gait movements through hand manipulation, and have implemented a mechanism to effectively associate hand movements with overall body movements. We have introduced a network capable of extracting intensity and phase information for each motion frequency, which has demonstrated a certain level of effectiveness.
Additionally, we have developed a method to generate gestural motions driven by speech, utilizing pattern matching of their features. This approach enables us to achieve synchronization with speech and diversity in generated motions via pattern-matching at a coarse resolution, while preserving the features of resource samples at a finer resolution. To minimize kinematic errors, we decomposed the data structure into upper and lower body parts and excluded the effect of voice on lower body movements.
|
| Academic Significance and Societal Importance of the Research Achievements |
仮想人物の身体動作を対話的に操作する手段として、動作の位相特徴量に着目した要素分解による手指の動きとの対応の教示学習を試みたものの、手指の動きの限界やその再現の困難さ等が原因で、表現に富んだ自然な動きを安定に学習させるには至らなかった。この結果を踏まえて、教示の手段を音声に変更し、身振り動作とは個別に計算する特徴量間の距離を柔軟に統合してパターン照合することにより、両者の時間同期と連動を安定して教示できたことは学術的な意義がある。また、この手段を音声以外にも拡張することにより、様々な方法を用いた深層学習を介さない身体動作の教示法の可能性を示せた点はエンタテイメント分野での波及効果が期待できる。
|
