2021 Fiscal Year Research-status Report
Motion Analysis of Hachioji Kuruma Ningyo by Motion Capture and Construct of Digital Archive
| Project/Area Number |
21K01061
|
|---|
| Research Institution | Tsuru University |
|---|
Principal Investigator |
早野 慎吾 都留文科大学, 文学部, 教授 (90381053)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
董 然 東京工科大学, コンピュータサイエンス学部, 助教 (80879891)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 八王子車人形 / デジタルアーカイブ / AI 解析 / モーションキャプチャ / 感情表現 |
|---|
| Outline of Annual Research Achievements |
2021年度、人形浄瑠璃八王子車人形西川古柳座において、五代目西川古柳および五代目西川柳玉の所作を2度にわたりモーションキャプチャでデータ採取した。1回目の調査は、録音の太夫（語り）・三味線（音楽）を用いて、「日高川入相花王」、「釣女」、「東海道中膝栗毛」、「伊達娘恋緋香子」、「傾城阿波の鳴門」の5演目に関するデータを採取した。このデータが本研究の基礎データとなる。モーションキャプチャのデータは、MATLABを用いて、大夫の語りにあわせてどのような動作になっているかを3Dの軌跡（軌道）として表示した（早野・董（2021.10)「人形浄瑠璃の円の動きによる感情表現―モーションキャプチャを用いた分析―」都留文科大学研究紀要94）。
人形遣いの所作と大夫の語り、三味線の3者は感情表現において相互作用の効果がある。本研究において分析の中心となるのは感情表現である。まず、大夫の語りが感情表現においてどのような役割を果たすかを解析するため、2回目の調査では、三味線を外して太夫の語りと合わせた所作のデータを採取した。三味線の音が混在すると、ソナグラムによる音声分析ができないためである。依頼した大夫は、西川古柳座とは10年以上共演している竹本越孝（義太夫協会所属）である。
本研究継続中の2022年3月、調査対象であった西川古柳座が国の重要無形民俗文化財に選定された。東京都からは初の選定である。西川古柳座のデータの価値が高まり、本研究の価値も高まったといえる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究の目的の1つは人形遣いの所作を3DCGアニメーション化（アニメ化）することにある。通常、モーションキャプチャを使用した場合、AIは人の骨格を想定して自動的にアニメ化するため、当初は、データをそのまま3DCG化できると考えていた。しかし、人形浄瑠璃の人形は、首（かしら）が数㎝伸縮し、肩巾が5㎝程度伸縮するため、動作の度に違った骨格を作成してしまいアルゴリズムが作成できなかった。
解決する方法としては、（1）毎回、違った骨格のアニメ化する方法と、（2）すでに他の研究で進めていたAI人型ロボットにより動作再現をする方法がある。現在、どちらを選択するか、業者に問い合わせながら検討している。
|
| Strategy for Future Research Activity |
現在、採取した太夫の語りに関するソナグラムを解析し、ピッチ、ストレス、ポーズの項目に分けてデータベースを作成している。現在の作業が完了した時点でMFCC（メル周波数ケプストラム係数）による感情表現解析と音声聴取による感覚調査を行う。感覚調査は、都留文科大学で担当している授業の受講生80名に対して実施する。
感情表現の分析に関しては汎用感情音声コーパスJTESを使用する。JTESはAIにより入力された音声の声色等から感情を推定する「感情認識」、感情音声の入力に対して音声の認識を行う「感情音声認識」を実現する音声対話システムである。さらに、人の判断による感覚調査とAIによるJTESの結果を比較し、AIと人のズレも考察する。人形所作のモーションキャプチャデータ変換に関しては、アルゴリズム作成が非常に困難なため、当初計画していたアバターのみを作成してAIで所作を3DCG化することが困難であると判明した。アーカイブ作成において、演目を数項目に減らして経費の多くを3DCG化に使用するか、既に作成してあるプリメイドAI（人型ロボット）の関節自由度を変えて動作再現させるかのどちらかを選択することになる。
|
| Causes of Carryover |
モーションキャプチャでのデータからアルゴリズム作成が困難なことが判明し、対応できるモーションキャプチャを探していたため。
|
