| 研究課題/領域番号 |
20K12525
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分90010:デザイン学関連
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
蔡 東生 筑波大学, システム情報系, 准教授 (70202075)
|
|---|
| 研究分担者 |
浅井 信吉 会津大学, コンピュータ理工学部, 上級准教授 (80325969)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2021年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2020年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
|
|---|
| キーワード | 文楽 / 序破急 / 息 / ヒルベルトファン変換 / Volatility / MFCC / 深層学習 / インタラクション / モーションデザイン / 所作 |
|---|
| 研究開始時の研究の概要 |
世阿弥らによって集大成された能・文楽における序破急原理は，リズム，テンポ等の音楽要素を漸次的に，後述するフェヒナー則に従い、インタラクティブに緩急として変化させる非決定的なメディアデザイン法である．音価、リズム等の音楽要素が非決定的で，自由に，インタラクティブに変化できるが，メディアの時間構成法が厳密に決まっており,決して即興的ではない．美しいインタラクティブ性，感情表現に優れており，この古くて革新的デザイン法を本研究ではロボットと人のインタラクションに応用する．
|
| 研究実績の概要 |
ユネスコ無形遺産文楽人形の動きは、世界で最も美しい感情表現動作といわれるがその実態は詳しく解明されていない。文楽人形は日本最古で、単純だが高度な機械的カラクリ構造を持ち、優れた感情表現動作を行う。文楽人形は、あらゆる動きの中で人間と高度に類似する一方、不気味の谷の影響を受けない唯一のものである。本研究では千年以上前の庶民の木偶から始まる日本最古のからくり構造をもつ浄瑠璃人形文楽の感情動作表現（所作＝「型」）・インタラクション（「音×リズム×動き×序破急」）を解析し,その動き・インタラクションを,経験的固有モード分解（EMD：Huang, 2009）し, 語り,三味線から『序破急』のテンポ（ビート）変化を求め,キーフレームとして基本動作をセグメント化する.その分解・セグメント化された,基本感情動作表現部品化を科学的に行う.部品化された動作表現を，さらに「序破急」の緩急をベースに「型」にくみ上げ，AI搭載ホームロボットの感情表現動作に再利用する．この部品化された「型」を用い, 「音×リズム×動き×序破急」を用い,人とロボットのインタラクションデザインを行う.本年度は、従来モーションキャプチャしていた人形の動作をヒルベルトファン変換し、主遣いの人形の所作から発せられる、左遣いへの合図である「ホド」、「ズ」の解析をおこなった。その結果は、これらの合図は、序破急とよばれる、日本の伝統芸能である独特のリズムと動作に組み込まれており、非常に高度な技術であることを確認した。また、これらの解析した動作、「型」をロボット動作に組み込むためのプラットフォームを開発した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本年度，人形からモーションキャプチャしたデータからロボットモーションに変換するためのデータ取りを主に行ったが、一部遅れが生じた。これらを、日本の伝統芸能人形浄瑠璃文楽の動きを序破急の観点で解析した。研究の要点を以下にまとめる。重力センサモーショントラッカーを利用し，文楽感情表現を解析した。モーションキャプチャデータを八王子車座西川古柳一座の協力を得てデータ収集したが、コロナ禍もあり一部遅れが生じた。その後、得られたデータをもとにビートトラッキングを用いてモーションをセグメンテーション化し，動作プリミティブを抽出した。文楽人形の演目セリフの研究者と専門家の指導により、音声解析を行い、先行研究で確認できた序破急という特徴を、文楽でも確認し、楽譜起こししたデータと照合した。また、序破急によって演目を分割し、それぞれ伸縮量と三味線のテンポの変化量の相関関係を計算し、関連性があることを明らかにし、それらがテンポの変換点である「間」で行われること、その「間」が裏拍子で次のテンポを決めることを明らかにした。序破急における伸縮の変化は、序破急の進行に伴って徐々に加速する。また、ロボットの所作に組み込むため、人形主遣いが発する合図である、「ホド」、「ズ」の解明を行った。これらも、序破急にける「間」に発せられることを確認した。
|
| 今後の研究の推進方策 |
文楽人形の自然で美しい所作をロボットとAIを用い再現し、無形文化遺産文楽と現代技術を序破急原理で、結びつけることは、非常に意義深い研究であると考える。新時代の無機質なロボットと文楽人形の伸縮性を組み合わせ、一連のデータ処理によってロボットへの応用を可能にし、カッティングエッジテクノロジーと同時に、先人の知恵による古典的文楽人形ならではの魅力を、今後、AIを用いロボットの所作に移して研究を進める。深層学習のためのデータ採取を、八王子車座と共同で進めていき、2年後の万博での実演を目指す。今後は、文楽の動きの特徴を持つロボットのためにより高度な「型」を学習、設計し実装を進める。現在文楽ロボットの動作デザインは比較的シンプルだが、これから序破急と間の関係をいれ、学習データ採取を増やすことで、文楽人形が誇張により感情を表現できるポイントを序破急という観点で見いだしていく。特に、動きのVolatilityを計測し、「息」との関係を深層学習させることにより，自然なインタラクションや会話が可能になると考え、ロボット所作への実装をすすめる。
|
