2021 Fiscal Year Research-status Report
Feature space learning for manipulating complicated motions
| Project/Area Number |
21K19822
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
栗山 繁 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (20264939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
向井 智彦 東京都立大学, システムデザイン研究科, 准教授 (10432296)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Keywords | キャラクタ・アニメーション / 対話的教示学習 / 仮想人間の制御 / デジタル・ヒューマン / ３次元運動入力 |
|---|
| Outline of Annual Research Achievements |
コンピュータ・グラフィックスで構成される仮想的な人間（アバター）の直観的な操作を実現するために、入力デバイスとして手指の動きを非接触なセンサで入力できるデバイスを導入し、歩行動作を様々な歩容で対話的に動作する手法の開発に取り組んだ。
まず、光学式のモーションキャプチャ装置を用いて計測した異なる歩容の動作データ群を用い、歩行動作の特徴を自動的に抽出するために、畳み込みニューラルネットワークを用いた自己符号化器によって、関節角度の時系列信号を潜在変数空間に埋め込む機構を開発した。それと同時に、手指の動きのセンサ情報を異なるニューラルネットワークを用いた自己符号化器で潜在変数化し、歩行動作と手指の動きの対応を教示的に学習させる機構を構築した。
実験の結果、歩行動作を対話的に生成することは可能となったが、微妙に異なる歩容の制御方法に関しては、入力操作の方法に何らかの工夫が必要であることが認識された。また、現在導入しているニューラルネットワークの性質により、手指の動きを停止させた場合に歩行の動きを自然に停止させる事が困難であることが判明した。
今後は、これらの不足や不具合を解消するために、グラフ型の階層的なニューラルネットワークの導入や、対話的な学習方法を再設計し、入力操作方法の拡張も含めて検討していく計画である。さらに、初年度は歩行動作の対話的な操作方法に焦点を当てて開発と検証を進めてきたが、2022年度は研究として取り組む範囲を身振り動作（ジェスチャ）の対話的でマルチモーダルな操作にも拡大し、必要とされる入力デバイスや教示学習のアプローチの検討等、これまでに開発した手法を修正・拡張していく計画である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
直観的な入力デバイスを用いた対話的な学習と操作の基本的な機構は既に開発を終えており、それを用いた実験を通じて様々な問題点を抽出することはできた。その結果は、関連分野の国内での代表的な学術会議（Visual Computing 2021）でポスター発表し、有益なコメントも得られた。
しかしながら、教示的な学習方法に関しては新規なアイデアを考案するには至っておらず、ニューラルネットワークの再設計に関しても開発が遅れているので、今回の区分の判断に至った。
|
| Strategy for Future Research Activity |
人の動きの撮影動画から骨格構造を抽出しその行動を認識するのに高い精度が得られている、グラフ型の時空間畳み込みニューラルネットワーク（Spatial Temporal Graph Convolutional Networks）を導入し、動作の信号を人体の骨格構造を考慮した階層的な表現に変換して、手指等の構造の異なる動きとの柔軟なマッチングの取得に適した計算モデルを開発する。
教示学習に関しては、対話的な操作を介した方法のみでは利用者に要求される作業負担が膨大になる事が予想されるので、近年多くの手法が提案されている自己教師型の学習方法を組み込むことも検討する。また、深層学習の研究分野では、音声信号やテキスト情報から自然な身振り動作を自動生成する手法が提案されており、これらの手法を対話的な教示手法に統合することも視野に入れて研究を推進していく。
|
| Causes of Carryover |
概ね当初の計画通りに支出を執行したが、年度期限の間近に購入した物品の価格が予想を下回ったために、少量の残額が生じてしまった。
|
