2022 Fiscal Year Research-status Report
人と人形のインタラクションデザイン：序破急と文楽人形所作を用いた感情表現設計
| Project/Area Number |
20K12525
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
蔡 東生 筑波大学, システム情報系, 准教授 (70202075)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
浅井 信吉 会津大学, コンピュータ理工学部, 上級准教授 (80325969)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 文楽 / 序破急 / 息 / ヒルベルトファン変換 / Volatility / MFCC / 深層学習 |
|---|
| Outline of Annual Research Achievements |
ユネスコ無形遺産文楽人形の動きは、世界で最も美しい感情表現動作といわれるがその実態は詳しく解明されていない。文楽人形は日本最古で、単純だが高度な機械的カラクリ構造を持ち、優れた感情表現動作を行う。文楽人形は、あらゆる動きの中で人間と高度に類似する一方、不気味の谷の影響を受けない唯一のものである。本研究では千年以上前の庶民の木偶から始まる日本最古のからくり構造をもつ浄瑠璃人形文楽の感情動作表現（所作＝「型」）・インタラクション（「音×リズム×動き×序破急」）を解析し,その動き・インタラクションを,経験的固有モード分解（EMD：Huang, 2009）し, 語り,三味線から『序破急』のテンポ（ビート）変化を求め,キーフレームとして基本動作をセグメント化する.その分解・セグメント化された,基本感情動作表現部品化を科学的に行う.部品化された動作表現を，さらに「序破急」の緩急をベースに「型」にくみ上げ，AI搭載ホームロボットの感情表現動作に再利用する．この部品化された「型」を用い, 「音×リズム×動き×序破急」を用い,人とロボットのインタラクションデザインを行う.本年度は、従来モーションキャプチャしていた人形の動作をヒルベルトファン変換し、主遣いの人形の所作から発せられる、左遣いへの合図である「ホド」、「ズ」の解析をおこなった。その結果は、これらの合図は、序破急とよばれる、日本の伝統芸能である独特のリズムと動作に組み込まれており、非常に高度な技術であることを確認した。また、これらの解析した動作、「型」をロボット動作に組み込むためのプラットフォームを開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度，人形からモーションキャプチャしたデータからロボットモーションに変換するためのデータ取りを主に行ったが、一部遅れが生じた。これらを、日本の伝統芸能人形浄瑠璃文楽の動きを序破急の観点で解析した。研究の要点を以下にまとめる。重力センサモーショントラッカーを利用し，文楽感情表現を解析した。モーションキャプチャデータを八王子車座西川古柳一座の協力を得てデータ収集したが、コロナ禍もあり一部遅れが生じた。その後、得られたデータをもとにビートトラッキングを用いてモーションをセグメンテーション化し，動作プリミティブを抽出した。文楽人形の演目セリフの研究者と専門家の指導により、音声解析を行い、先行研究で確認できた序破急という特徴を、文楽でも確認し、楽譜起こししたデータと照合した。また、序破急によって演目を分割し、それぞれ伸縮量と三味線のテンポの変化量の相関関係を計算し、関連性があることを明らかにし、それらがテンポの変換点である「間」で行われること、その「間」が裏拍子で次のテンポを決めることを明らかにした。序破急における伸縮の変化は、序破急の進行に伴って徐々に加速する。また、ロボットの所作に組み込むため、人形主遣いが発する合図である、「ホド」、「ズ」の解明を行った。これらも、序破急にける「間」に発せられることを確認した。
|
| Strategy for Future Research Activity |
文楽人形の自然で美しい所作をロボットとAIを用い再現し、無形文化遺産文楽と現代技術を序破急原理で、結びつけることは、非常に意義深い研究であると考える。新時代の無機質なロボットと文楽人形の伸縮性を組み合わせ、一連のデータ処理によってロボットへの応用を可能にし、カッティングエッジテクノロジーと同時に、先人の知恵による古典的文楽人形ならではの魅力を、今後、AIを用いロボットの所作に移して研究を進める。深層学習のためのデータ採取を、八王子車座と共同で進めていき、2年後の万博での実演を目指す。今後は、文楽の動きの特徴を持つロボットのためにより高度な「型」を学習、設計し実装を進める。現在文楽ロボットの動作デザインは比較的シンプルだが、これから序破急と間の関係をいれ、学習データ採取を増やすことで、文楽人形が誇張により感情を表現できるポイントを序破急という観点で見いだしていく。特に、動きのVolatilityを計測し、「息」との関係を深層学習させることにより，自然なインタラクションや会話が可能になると考え、ロボット所作への実装をすすめる。
|
| Causes of Carryover |
本研究では、八王子車座西川古柳先生が操作する浄瑠璃人形の所作をモーションキャプチャし、その所作を機械学習し、ロボット動作を作成する予定であったが、コロナ問題で遅れが生じた。ユネスコ無形文化遺産「人形浄瑠璃文楽」は太夫、三味線、人形遣いの「三業」で構成される伝統芸能である。文楽は、3人の人形遣いが一体の人形を操作する世界でも例を見ない操作方法を用いている。合図となる非言語情報を巧みに用いて,多彩な動作を実現している。そのため、研究では、実際に浄瑠璃人形、八王子車座、文楽などへ赴き、人形のモーションデータを採取し、義太夫の語り、三味線を録音し、そのデータを、動作の場合BVHといわれるデータに変換し、ヒルベルトファン変換により、変換し、語りと三味線データからビートを検出し、ビート時の動作をキーフレームとし、セグメント化する必要があったが、前年度同様コロナ問題のため、データ採取が十分行えなかった。今後、コロナ規制が解除され、データを採取する予定である。データ採取が十分に行えない場合、従来学習データの再結合を行い、学習データを見かけ上増やし、機械学習を行う予定である。
|
