2021 Fiscal Year Research-status Report
Interactive humanoid robot design using Bunraku puppet structure and Jo-ha-kyu Principle
| Project/Area Number |
21K17833
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
董 然 東京工科大学, コンピュータサイエンス学部, 助教 (80879891)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | モーションデザイン / ヒルベルト-ファン変換 / 経験的モード分解 / ロボットインタラクション / 人工知能 / 人形浄瑠璃 / 序破急 / 伝統芸能 |
|---|
| Outline of Annual Research Achievements |
2021年度に実施した主な成果は次の3点である．1．モーションキャプチャによる人形浄瑠璃モーション採集と解析．2．多変量経験的モード分解を用いたロボットモーション実装法の開発．3．人形浄瑠璃文楽のカラクリを取り入れたロボットの設計．
1では，人形使いの感情表現技法を解析するため，人形浄瑠璃に慣性式モーションキャプチャシステムをつけ，人形の感情表現動作，義太夫の声，および三味線の音を同時に採取した．採取されたデータを解析することで，浄瑠璃人形にアニメーションプリンシプルと類似する感情表現技法（伸縮や胸関節）を発見し，これらの技法が浄瑠璃人形のカラクリによって実現されていることを確認した．例えば，伸縮表現が義太夫の声，および三味線の音にも同期している．これらの技法は序破急（緩急）と呼ばれる日本伝統芸能の手法であり，人形カラクリと深く関わることが分かった．
人形浄瑠璃の細かい感情表現をロボットで再現するには，2で示したロボットモーション実装法が必要である．序破急（緩急）で表現されている人形のモーションは，ロボットのモータが追随できない部分が存在しており，人形技法をロボットに移植するには，最適化が求められる．そこで本研究は，多変量経験的モード分解を用いたロボットモーション実装手法を開発し，人形の感情表現をロボットのモータスピードに合わせて再現できるように，モーション実装の最適化手法を提案した．これにより，ロボットのモータに合わせた人形技法の実装と再現が可能となる．
3においては，1と2で得られた解析結果に基づいて，本研究では，人形カラクリをロボットの設計に取り入れ，人形の感情表現技法ができるロボットの開発を行った．胴体の伸縮，および胸関節をロボットの骨格に入れることにより，序破急の技法が表現できるようになる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
人形浄瑠璃文楽のカラクリを取り入れたロボットを開発するため，2021年度では，人形浄瑠璃の所作をモーションキャプチャで採取し，義太夫の謡と三味線の音も同時に取得した．本研究の解析から，人形カラクリ（伸縮，胸関節など）が人形操作技法である序破急（緩急）に重要な役割を果たしていることを検証できた．また，これらのデータをロボットに実装できるように，非線形的にモーションを編集できる周波数領域でのモーションデザイン法を提案できた．これらの結果に基づいて，伸縮，胸関節などを取り入れたロボットの実機を設計することができたため，おおむね順調に進展していると考える．
|
| Strategy for Future Research Activity |
近い将来情報家電が急速に家庭に入り，そのインテリジェントハブとして AI 搭載ホームロボットが一気に普及すると考えられる．しかしながら，これを実現させるためには，人に不信感を与えてしまう「不気味の谷現象」を克服する必要がある．不気味の谷現象は昔から提唱された仮説ではあったが，近年，心理学によりこの現象が実在であることを示した．
仮説を提唱した研究者は，人形浄瑠璃の技法はこの不気味の谷を越え，人間から信頼を得られるエッセンスが秘められていると述べている．また，人形が谷現象を克服した理由として考えられるのは，人形のモーションを含め，義太夫や三味線が連携し，観客を人形の舞台に没入させることが重要だと示唆した．
今後の本研究の推進方策としては，「序破急」（緩急）と呼ばれる技法，すなわち人形の所作，義太夫の謠と三味線の音の三つの要素の連携に着目する．これらのデジタル化されたデータを瞬時周波数領域に変換し，その特徴量を解析することで，不気味の谷現象を克服するエッセンスを解明する．さらに，そのエッセンスを深層学習を用いて人形のカラクリを取り入れたロボットに学習させ，より違和感のない人間とのインタラクションができるように研究を進める．
|
| Causes of Carryover |
次年度使用額が生じる理由について，2021年4月から2022年3月までの研究期間では，参加した国際会議と国内学会，および研究の打ち合わせはすべてオンライン開催になった．そのため，予定していた旅費がすべて未使用額として生じた．また，人形浄瑠璃のデータ採取に関連する人件費については，分担者として入る基盤Cのデータを共同利用することができたので，未使用となった．
2022年度から，採取した人形データを開発したロボットへの実装が本格的に始まるため，実験に関わるモータの消耗が予想される．そのため，未使用額と2022年度分を合わせた使用計画について，2021年度設計した人形カラクリを取り入れた人形ロボットへのモータの購入費用（修理）に充てる． また，人形のより繊細な感情表現所作をキャプチャするため，精度のより高いモーションキャプチャ設備の購入も予定している．
|
