2021 Fiscal Year Annual Research Report
Interaction between Humans and Puppets: Humanoid Robot Design using Empirical mode decomposition and Deep learning
| Project/Area Number |
20K23352
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
董 然 東京工科大学, コンピュータサイエンス学部, 助教 (80879891)
|
|---|
| Project Period (FY) |
2020-09-11 – 2022-03-31
|
| Keywords | 経験的モード分解 / モーションデザイン / ロボット / 伝統芸能 / 序破急 / 人形浄瑠璃 |
|---|
| Outline of Annual Research Achievements |
本研究の主な実績は次の３点である．1．ヒルベルト-ファン変換を用いた伝統芸能技法である序破急の解析．２．経験的モード分解と深層学習を用いた感情表現モーション生成手法の確立．３．提案した経験的モード分解を用いた解析手法を他分野への応用．
１においては，人形浄瑠璃の複数シーン（日高川入相花王など）の所作，義太夫の声，および三味線の音をデータ化できた．採取した複数シーンのモーションデータに対して，多変量経験的モード分解を適用し，人形のモーションに周波数領域でのスピード変化，すなわち緩急が存在することを確認した．また，人工知能を用いて義太夫の声と三味線の音からビートを抽出し，そのテンポをデータ化できた．モーションと音声の相関を調べ，人形浄瑠璃に使われている序破急（緩急）という技法を数値的に可視化でき，すなわち，人形浄瑠璃は序破急という技法を使って観客とインタラクションを行うことを確認できた．
２では，１で発見した周波数領域での序破急技法を，人工知能に適用し，モーションが自動生成できるようにするため，経験的モード分解と深層学習を用いた感情表現モーション生成手法を確立した．モーションデータを非線形周波数成分に分解することにより，動作の機能を実現するプライマリモーションと感情表現が多く含まれるセカンダリモーションに分けることを実現した．さらに，この二つのモーションのリンクをAIに学習させることで，プライマリモーションからセカンダリモーションを生成することが可能になり、序破急の技法で演じられる繊細な動きを生成する手法を確立した．
３では，本研究で開発した解析手法をモーションのみならず，融合分野にも応用した．例えば，電磁界解析と感染症対策にも応用し，異なる分野での非線形問題にも貢献できることを確認できた．
|
