2023 Fiscal Year Final Research Report
Feature space learning for manipulating complicated motions
| Project/Area Number |
21K19822
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
Kuriyama Shigeru 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Keywords | キャラクタ・アニメーション / 音声駆動型身振り制御 / 身体動作の3次元操作 / 多重解像度パッチ照合 / 特徴空間の統合 |
|---|
| Outline of Final Research Achievements |
We developed an example-based learning for intuitively manipulating CG characters using hand movements. We focused on controlling various gait movements through hand manipulation, and have implemented a mechanism to effectively associate hand movements with overall body movements. We have introduced a network capable of extracting intensity and phase information for each motion frequency, which has demonstrated a certain level of effectiveness.
Additionally, we have developed a method to generate gestural motions driven by speech, utilizing pattern matching of their features. This approach enables us to achieve synchronization with speech and diversity in generated motions via pattern-matching at a coarse resolution, while preserving the features of resource samples at a finer resolution. To minimize kinematic errors, we decomposed the data structure into upper and lower body parts and excluded the effect of voice on lower body movements.
|
| Free Research Field |
機械学習に基づく人物動作の操作と制御
|
| Academic Significance and Societal Importance of the Research Achievements |
仮想人物の身体動作を対話的に操作する手段として、動作の位相特徴量に着目した要素分解による手指の動きとの対応の教示学習を試みたものの、手指の動きの限界やその再現の困難さ等が原因で、表現に富んだ自然な動きを安定に学習させるには至らなかった。この結果を踏まえて、教示の手段を音声に変更し、身振り動作とは個別に計算する特徴量間の距離を柔軟に統合してパターン照合することにより、両者の時間同期と連動を安定して教示できたことは学術的な意義がある。また、この手段を音声以外にも拡張することにより、様々な方法を用いた深層学習を介さない身体動作の教示法の可能性を示せた点はエンタテイメント分野での波及効果が期待できる。
|
