2023 Fiscal Year Annual Research Report
Feature space learning for manipulating complicated motions
| Project/Area Number |
21K19822
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Keywords | ３次元運動操作 / キャラクタ・アニメーション / 音声駆動型身振り制御 / 多重解像度・階層的パッチ照合 / 生成的動作制御 |
|---|
| Outline of Annual Research Achievements |
最終年度は、発話音声を操作手段とみなした場合の身振り動作を、それらの特徴量の照合により生成する手法を検討した。ただし今回は、ニューラルネットワークによる潜在変数への埋め込みを経ずに、データから直接計算される特徴量を多重時間解像度で構成し、一定のフレーム間隔で区切られた動作、音声のパッチ間での類似度をそれらの距離の重み和によって計算した。そして、素材データのパッチ単位での階層的な置換により、発話音声から動作を生成する手法を提案した。
音声と動作の距離に対する重みを解像度毎に変化させることにより、自然かつ音声と同期が取れた動作が得られた。具体的には、粗い解像度では音声間の距離を重視して同期を保ち、同時に生成動作の多様性も獲得する。また、詳細な解像度では動作間の距離を重視することにより、素材データの特徴の復元精度が保たれた。
以上の研究成果を国内の学術会議で口頭発表した内容に対して、優秀研究発表賞が授与された。
一方、生成動作においては足先の接地点が静止姿勢に対しても若干滑るという欠点が発見された。この問題に対しては、パッチ間の照合に用いる距離を上半身と下半身で分離して個別に計算し、下半身では音声に関する距離を除外することにより足先が滑る量を軽減できた。この成果に関しては、令和６年度以降に国内または国外の学会で発表する計画である。
研究期間全体に関しては、令和３、４年度に様々な歩容動作を手指動作で対話的に操作するための深層学習のモデルを提案し、その一定の効果を確認した。令和５年度においては操作手段を発話音声に変更したが、身振り動作に対しては潜在空間を介さなくとも、操作手段との異なるドメイン間での距離を多重解像度で階層的に計算してパッチ間を統合的に照合することにより、柔軟かつ頑健な対話的操作が得られた。この従来の常識に捉われない発見は、挑戦的な萌芽研究として相応しい成果であると考えられる。
|
