2020 Fiscal Year Research-status Report

人と人形のインタラクションデザイン：序破急と文楽人形所作を用いた感情表現設計

Research Project

Project/Area Number	20K12525
Research Institution	University of Tsukuba
Principal Investigator	蔡東生筑波大学, システム情報系, 准教授 (70202075)
Co-Investigator(Kenkyū-buntansha)	浅井信吉会津大学, コンピュータ理工学部, 上級准教授 (80325969)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	インタラクション / モーションデザイン / 文楽 / 所作 / 序破急
Outline of Annual Research Achievements	ユネスコ無形遺産文楽人形の動きは、世界で最も美しい感情表現動作といわれる[2]。文楽人形は日本最古で、単純だが高度な機械的カラクリ構造を持ち、優れた感情表現動作を行う。文楽人形は、あらゆる動きの中で人間と高度に類似する一方、不気味の谷の影響を受けない唯一のものである。本研究では千年以上前の庶民の木偶から始まる日本最古のからくり構造をもつ浄瑠璃人形文楽の感情動作表現（所作＝「型」）・インタラクション（「音×リズム×動き×序破急」）を解析し,その動き・インタラクションを,経験的固有モード分解（EMD：Huang, 2009）し, 語り,三味線から『序破急』のテンポ（ビート）変化を求め,キーフレームとして基本動作をセグメント化する.その分解・セグメント化された,基本感情動作表現の部品化を科学的に行う.部品化された動作表現を，さらに「序破急」の緩急をベースに「型」にくみ上げ，AI搭載ホームロボットの感情表現動作に再利用する．この部品化された「型」を用い, 「音×リズム×動き×序破急」を用い,人とロボットのインタラクションデザインを行う. 本年度では,同じ序破急を使う、能のシテ、大鼓、小鼓、笛の＜息＞を筋電計で計り,ヒルベルトファン変換を行い、コミと呼ばれる動機の所作及び、「息」による序破急リズムをロボットと人のインタラクションに取り入れる研究を行った。このことにより、人形の動きは，序破急に同調し，外しながら，やはり，序破急で，「型」をつなぎ，世界で最も美しい破調のインタラクションと表現美を作り上げていく。また、今年度はモーションキャプチャした、人形動作を、実際のロボットに移植するため、逆運動力学計算を行い、異なる骨格を持つロボットへ移植した。ロボットの音と動きに関する感性面から探究するため、アニメーション12原則から、序破急を加えた文楽人形の原理を検討した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本年度，日本の伝統芸能人形浄瑠璃文楽の動きを序破急の観点で解析した。研究の要点を以下にまとめる。電磁モーショントラッカーを利用し，文楽感情表現モーションキャプチャデータを収集した。その後、ビートトラッキングを用いてモーションをセグメンテーション化し，動作プリミティブを抽出した。文楽人形の演目セリフの研究者と専門家の指導により、能に先行研究で確認できた序破急という特徴を、文楽でも確認した。また、服のたわみや人形どうがらから、首・胴体・腕を突き出す量を計算し、序破急に伸縮量を追加することで、さらに人間らしい動きを作った。序破急によって演目を分割し、それぞれ伸縮量と三味線のテンポの変化量の相関関係を計算し、関連性があることを明らかにした。序破急における伸縮の変化は、序破急の進行に伴って徐々に加速する。最後にデータをまとめ、関節の伸縮量と各関節の三方向の回転角度を求め、CGを実際のロボットに適応できるように調整し、ロボットへ実装した。
Strategy for Future Research Activity	無形文化遺産文楽と現代技術を序破急原理で、結びつけることは、非常に意義深い研究である。新時代の無機質なロボットと文楽人形の伸縮性を組み合わせ、一連のデータ処理によってロボットへの応用を可能にし、現代テクノロジーをと同時に、文楽人形ならではの魅力を、今後、AIを用い研究を進めていく。今後は、文楽の動きの特徴を持つロボットのためにより専用的な動きを設計する。現在文楽ロボットの動作デザインは比較的シンプルだが、これから序破急と間の関係をいれ、更に洗練されたものを目指す。実験を重ねることで、文楽人形が感情を表現できるポイントを見いだしていく。ロボットの動きに合わせてデザインの動きを調整し、序破急、潰しと伸ばしの関係、息の関係を深層学習させることにより，自然なインタラクションや会話が可能になると考える。
Causes of Carryover	ユネスコ無形文化遺産「人形浄瑠璃文楽」は太夫、三味線、人形遣いの「三業」で構成される伝統芸能である。文楽は、3人の人形遣いが一体の人形を操作する世界でも例を見ない操作方法を用いている。合図となる非言語情報を巧みに用いて,多彩な動作を実現している。人形の感情表現は「世界で最も美しい動き」「世界の傑作」と言われ、また人形への共感は多くの観客に起こると言われている。そのため、研究では、実際に文楽などへ赴き、人形のモーションデータを採取し、義太夫の語り、三味線を録音し、そのデータを、BVHといわれるデータに変換し、ヒルベルトファン変換により、変換し、語りと三味線データからビートを検出し、セグメントする必要があったが、本年度はコロナ問題のため、データ採取が行えなかった。今後、コロナ問題が治まり次第データを採取する予定である。また、データがとれない場合リモートでの採取を検討する。