Feature space learning for manipulating complicated motions
| Project/Area Number |
21K19822
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2021: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | キャラクタ・アニメーション / 仮想人間の制御 / デジタル・ヒューマン / ３次元運動操作 / 生成型深層学習 / 対話的教示学習 / ３次元運動入力 / 人間動作の操作 / 対話的教示 / 特徴空間 / 深層学習 / ヒューマノイド・アニメーション |
|---|
| Outline of Research at the Start |
仮想人間を用いた既存のオンライン・コミュニケーションでは、全身の動きや振る舞いは計測動作をそのままあてはめるか、事前登録された動きをデバイス操作で選択的に再生する方法が用いられている。しかし、前者の方法では計測精度や演技力が品質に大きく影響し、後者の方法では動きのバリエーションが乏しく豊かな表現での振る舞いが困難である。
本研究では、簡単な入力操作によって仮想人間の表現豊かな動作や身振りを実時間生成するために、入力信号の効果的かつ直観的な変換機構を自動獲得することを目的とする。そのために、既存のデバイス操作や手指の動き、および音声等を用いた対話的な教示を介して、特徴空間を学習する機構を開拓する。
|
| Outline of Annual Research Achievements |
CGキャラクタを直観的に操作するための特徴空間の学習法として、様々な歩容動作を手指動作で対話的に制御するための深層学習のモデルを考案した。訓練および検証用のデータを収集するために手指の姿勢を認識できる非接触なデバイスを購入し、光学式のモーションキャプチャ装置を用いて計測された歩行を中心とする全身動作を模倣するような手指の動きを計測して、独自のデータセットを構築した。畳み込みニューラルネットワークを用いて、全身動作に関しては関節角度の時系列信号を、手指の動きに対しては関節位置を潜在変数空間に埋め込むことで、それらの動きの特徴空間を学習しながら変換する機構を構築した。
この機構を用いて手指の操作で歩行動作を生成する実験を行なった結果、実時間制御の可能性を示せたが、微妙に異なる歩容の制御に関しては、手指操作の方法にさらなる工夫と改良が必要であることが認められた。また、手指の操作を停止させた場合に歩行の動きを自然に急停止させることが困難であることも判明した。
手法の適用範囲を歩行のみで無く、より複雑な全身動作に拡張させるために、動きの周波数毎の強度と位相情報を抽出できるニューラルネットワーク（DeepPhase）を導入し、その出力を用いて手指の動きと全身動作を柔軟かつ頑健に関連付ける機構を開発した。これにより、部分的に周期性を有する上半身の動きに対しても、手指の動きで実時間操作することが可能となった。さらに複雑な条件として、歩行と同時かつ独立に演じられる上半身の動作を片手の手指での操作のみで逐次制御する実験を行なった結果、部分的に不自然な動きを生じてしまうことが判明し、機能の拡張に対する問題点が浮き彫りとなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
手指の操作による対話的な歩行動作生成の基本的な機構は2021年度に開発済みであり、それを用いた実験を通じて様々な問題点を抽出できた。その結果は、関連分野の国内での代表的な学術会議（Visual Computing 2021）でポスター発表し、有益なコメントが得られた。
翌年の2022年度には、動作の周波数と位相の特徴を抽出できるニューラルネットワークのモデルを導入し、歩行以外の日常的な動きに対しても、手指の動きを対応させる機構を開発した。その結果、一定の成果は得られたが、歩行と上半身の動作を組み合わせた複合的な動きに対しては、動きの特徴が失われる等の欠点が確認された。この弱点は、ニューラルネットワークの性能不足以外にも、手指の動きだけで実現できる表現空間の狭さや姿勢の安定性、および運動の滑らかさの欠如等に起因すると考えられる。
活動の進捗状況としては、2022年度には研究成果を対外発表するまでの成果は得られなかったので、今回の区分の判断に至った。
|
| Strategy for Future Research Activity |
これまでの研究成果によって、複雑な全身運動をその多様性や柔軟性を失わない様に精確に表現するという目的を達成するためには、人の手指の動きだけに頼るのには本質的な限界があると判断した。したがって今後は、研究の進め方の方針を一部変更し、CGキャラクタの動きの操作に用いる手段を手指の動きに限定せず、安価な慣性式の動作計測装置を介して得られる動作信号も対象に加える。また、動きの特徴空間をより高度かつ安定に学習するために、近年注目されている生成型の深層学習モデルである拡散モデルを導入し、低次元・低品質な動作信号を高次元・高品質な動作に自動変換する手法の開発に取り組む。
拡散モデルを用いた動作の生成的な機構（De-noising Diffusion Probabilistic Model）とその高速化手法（De-noising Diffusion Implict Model）によりキャラクタの動作を生成する機構はすでに開発済みである。今後は、さらに実時間での処理を実現するための高速化手法として、繰り返し計算の不要な Consistency Model 等の導入を検討する。これらの最先端の拡散モデルを導入することにより、慣性式計測装置により部分的に取得された雑音を含む動作のデータを、高品質な全身動作のデータに変換する機構を構築し、その性能を実験により検証する。
|
Report
(2 results)
Research Products
(6 results)
