2021 Fiscal Year Research-status Report
人と人形のインタラクションデザイン：序破急と文楽人形所作を用いた感情表現設計
| Project/Area Number |
20K12525
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
蔡 東生 筑波大学, システム情報系, 准教授 (70202075)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
浅井 信吉 会津大学, コンピュータ理工学部, 上級准教授 (80325969)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 文楽 / 序破急 / 息 / ヒルベルトファン変換 / Volatility / MFCC / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究では千年以上前の庶民の木偶から始まる日本最古のからくり構造をもつ浄瑠璃人形文楽の感情動作表現（所作＝「型」）・インタラクション（「音×リズム×動き×序破急」）を解析し,その動き・インタラクションを,経験的固有モード分解（EMD：Huang, 2009）し, 語り,三味線から『序破急』のテンポ（ビート）変化を求め,キーフレームとして基本動作をセグメント化する.その分解・セグメント化された,基本感情動作表現の部品化を科学的に行う.部品化された動作表現を，さらに「序破急」の緩急をベースに「型」にくみ上げ，AI搭載ホームロボットの感情表現動作に再利用する．本年度では,（1）継続して、同じ序破急を使う、能のシテ、大鼓、小鼓、笛の＜息＞を筋電計で計り,ヒルベルトファン変換を行い、瞬時位相を計算し、能のシテ、大鼓、小鼓、笛の呼吸の波形を３６０度で、正しく計測した。その結果、大鼓、小鼓の呼吸が比較的同期していることを発見した。（2）シテ、大鼓、小鼓、笛の呼吸は、緩から急へ変化するとき、0.05-0.1秒程度で、一致しており、４者間の息を合わせる、呼吸を計測した（新発見）。(3)HHTから４者の息のVolatilityを計測した。その結果、能全体で、拍子合、拍子不合を制御しているのは、大鼓、小鼓であることを発見した。また、Volatilityにより、大鼓、小鼓が交互に入れ替わり、リズムを制御していることが判明した。(4)さらに、本年は、義太夫の語りを、コーパス化し、MFCC係数を求めることにより、義太夫の語りの感情認識を、現代語コーパスで深層学習した識別器により、認識した。(5)(4)での認識率は50%程度で低い。今後は、現代語と義太夫節の違いを研究し、(1)-(3)の研究と合わせて、文楽人形の所作を解析して、その所作をデジタルデータに抽出していく。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度，日本の伝統芸能人形浄瑠璃文楽の動きを序破急の観点で解析した。研究の要点を以下にまとめる。モーショントラッカーを利用し，文楽感情表現モーションキャプチャデータを八王子車座で継続して収集した。その後、ビートトラッキングを用いてモーションをセグメンテーション化し，動作プリミティブを抽出した。その動作プリミティブを実際の文楽ロボットに応用すべく、これまで、抽出したモーションデータを深層学習オートエンコーダを用い学習させた。文楽人形のモーションは糸でつながれた、たわみが有り伸縮する。伸縮構造は感情表現において重要であり、ロボットモーションへ移すため、深層学習させたオートエンコーダにより、次元圧縮を行い、自由度のことなるロボット動作に機構静力学的に自己矛盾の内容に変換し、ロボット動作として再現した。さらに、本年は、義太夫の語りを、コーパス化し、MFCC係数を求めることにより、義太夫の語りの感情認識を、怒り、喜び、悲しみ、平常の4分類の現代語コーパスで深層学習した識別器により、認識した。認識率は50%程度で低い。認識率の低さの原因として、三味線の音の不完全分離の可能性があり、本年度、義太夫節の計測を三味線なしで行った。今後は、現代語と義太夫節の違いを研究し、能の息の研究と合わせて、文楽人形の感情所作を、義太夫節から識別解析して、その感情所作をそれぞれの感情に合わせデジタルデータに抽出していく。
|
| Strategy for Future Research Activity |
無形文化遺産能や文楽の感情表現とAIやVolatility等の最新の技術を序破急原理で、結びつけることは、非常に興味深い研究である。無機質なロボットと文楽人形独特の美しい感情表現を一連のAI等を用いたデータ処理によってロボット所作へ変換し、豊かなロボットの感情表現を可能にする。現代テクノロジーと文楽人形ならではの魅力を融合させ、AIを用い新しい表現へ発展させることを目指す。今後は、深層学習を用い、人形の伸縮するリンク構造から、各部品長さが固定された文楽ロボットへ、運動機構学的に矛盾無く変換することにより、文楽の豊かな感情表現特徴を持つロボット所作のパーツ化、即ち再利用可能な、デジタルデータ化を行う。現在までに、人間国宝桐竹勘十郎氏の協力のもと、妹背山女庭訓の杉酒屋の段、道行恋苧環の段のお三輪のデータを取得し、ロボットデータへ変換した。現時点では、文楽ロボットの動作デザインは比較的シンプルだが、これから序破急と間の関係をいれ、更に洗練させる、また、感情表現データを増やすことを目指す。来年度は、妹背山婦女庭訓以外に、日高川などの演目動作もデジタル化し、感情表現データを増やす予定である。最終的には、ロボットの動きに合わせてデザインの動きを調整し、序破急、息の関係を深層学習させることにより，自然なインタラクションや会話が可能になる文楽ロボット所作を目指す。
|
| Causes of Carryover |
ユネスコ無形文化遺産「人形浄瑠璃文楽」は太夫、三味線、人形遣いの「三業」で構成される伝統芸能である。文楽は、3人の人形遣いが一体の人形を操作する世界でも例を見ない操作方法を用いている。合図となる非言語情報を巧みに用いて,多彩な動作を実現している。人形の感情表現は「世界で最も美しい動き」「世界の傑作」と言われ、また人形への共感は多くの観客に起こると言われている。そのため、研究では、実際に浄瑠璃人形、八王子車座、文楽などへ赴き、人形のモーションデータを採取し、義太夫の語り、三味線を録音し、そのデータを、動作の場合BVHといわれるデータに変換し、ヒルベルトファン変換により、変換し、語りと三味線データからビートを検出し、ビート時の動作をキーフレームとし、セグメント化する必要があったが、前年度同様コロナ問題のため、データ採取が十分行えなかった。今後、コロナ問題が収まり次第不足データを採取する予定である。また、データがとれない場合リモートでの採取を検討する。ロボットに関しては、40，50cm高のロボット上半身を試作し、squeez, squashを入れ、文楽独特の肩の震え、首回しを抽出したデータで、実ロボットで再現する予定。
|
