| Project/Area Number |
23K11769
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90020:Library and information science, humanistic and social informatics-related
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
浮田 浩行 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (60284311)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺田 賢治 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (40274261)
笹尾 知世 東京大学, 空間情報科学研究センター, 特別研究員 (60789733)
富永 正英 徳島大学, 大学院医歯薬学研究部(医学域), 講師 (90437632)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | デジタルアーカイブ / 阿波人形浄瑠璃 / 3次元形状計測 / CT画像 / モーションキャプチャ / デジタルアーカイビング |
|---|
| Outline of Research at the Start |
本研究では日本の伝統文化である人形浄瑠璃を未来に伝え，発展させるためのデジタルアーカイブシステムとその活用方法を検討する．具体的には，
1.人形の外形だけでなく，頭内部のからくりや着物・装飾品も含めた人形全体の形状や色・材質についてデジタルデータ化．VR空間等での活用を検討．
2.1体の人形とそれを操作する３人の人形遣いの動きをリアルタイムで計測し，デジタルデータ化．そして，人形と人形遣いの動きのデータから，機械学習を用いて，初心者と熟練者の動作の違いを解析し，人形遣いトレーニングシステムを構築．
本研究は，他の伝統工芸品のデジタルデータ化や能・狂言・歌舞伎等の動作の記録・解析への応用も期待できる．
|
| Outline of Annual Research Achievements |
本研究は，阿波人形浄瑠璃を未来に伝え，発展させるためのデジタルアーカイブシステムとその活用方法を検討する．アーカイブ対象として，木偶人形全体と，人形および人形遣いの動きの２種類についてデジタルデータ化の方法を検討する．そして，これらのデータを活用したコンテンツの開発・公開も検討する．
本年度は２年目であり，主に，１年目から始めた人形および人形遣いの動きの計測方法について検討を進めた．ここでは，装着式のモーションキャプチャ装置と光学式の装置を併用する方法を考案し，装着式の装置を取付けた人形遣いに，更に光学式用のマーカを腰に付けることで，３人の人形の遣いの動きと人形遣い同士の位置関係を同時に計測する方法を開発した．また，一人の人形遣いが１体の人形を操る「八王子車人形」の西川古柳座に協力していただき，人形と人形遣いの動きを装着式の装置で同時計測した．そして，この計測データを元に，機械学習を用いて，人形や人形遣いの動きを生成する方法を検討した．この方法を用いることによって，人形を操作する初心者と熟練者について，人形や人形遣いの動きを評価することが可能になると考えられる．これより，今後は人形遣い練習システムについて検討を行う．さらに，人形の動作をより正確に計測するため，センサを装着できる専用の人形を，３Ｄプリンタにて試作した．
そして，本年度検討した人形および人形遣いの動きの計測方法については，電気学会知覚情報/次世代産業システム合同研究会および精密工学会ビジョン技術の実利用ワークショップにて研究発表を行なった．
また，アーカイブデータの活用として，計測した人形の動きデータを用いて，リアルな人形の動きをＣＧで表現する方法についても検討を行なった．ここでは，特に，着物の動きが現実に則したＣＧモデルを構築している．今後，人形浄瑠璃のコンテンツとして活用する予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究の２年目は，主に，人形および人形遣いの動きの計測方法について検討を行なった．阿波人形浄瑠璃では，１体の人形を３人の人形遣いが操作する．人形遣いの動きは装着式のモーションキャプチャ装置で計測できるが，人形遣い同士の位置関係までは計測できない．そこで，人形遣いに光学マーカを装着し，その位置を光学式のモーションキャプチャ装置にて計測することで同時計測が可能になった．
一方，装着式の装置が３台しかないため，一人の人形遣いが１体の人形を操る「八王子車人形」の西川古柳座に協力していただき，人形と人形遣いの動きを装着式の装置で同時に計測した．ただ，人形には人間用の装置を装着しづらい部分もあり正確な計測が難しいことから，センサの装着が可能な人形を３Ｄプリンタで製作し，人形の動作計測が可能であることを確認した．
また，「八王子車人形」で計測した人形遣いと人形の動きを用いて，人形遣いの動きから人形の動きを生成する（あるいは，その逆の処理を行う）学習モデルを構築した．これは，人形遣い練習システムの構築を目指すものであり，初心者と熟練者のそれぞれの学習モデルに対し，同じ動作を入力して，同じ結果が得られるかどうかで初心者の上達度を評価できると考えられるためである．さらに，計測した動作データの活用として，人形の動きをリアルに表現するためのＣＧモデルについても検討した．
一方，人形全体をハイパースペクトルカメラで撮影し，形状や色，材質等の情報を得ることについては，カメラを移動させながら撮影するためのスライダー装置の制御方法の開発に時間がかかり，まだ撮影はできていない．しかし，Ｒ６年度末にスライダーの制御は可能になっており，Ｒ７年度に，撮影を行う予定である．
以上から，これまでに計画した内容で３年目に持ち越す内容もあり，予定よりやや遅れている点もあるが，最終年度の３年目で十分に進められると考えている．
|
| Strategy for Future Research Activity |
人形と人形遣いの動きおよび人形全体のデジタルアーカイブ手法とデータの活用方法および本研究のまとめについて，３年目の令和７年度は，以下の内容を進める．
人形と人形遣いの動きの計測については，まず，センサを装着できる人形を早急に改良し，人形遣い３人と人形１体を同時に計測できるようにする．なお，装着型のモーションキャプチャ装置は３台しかないが，もう１台は他の研究室から借りて使用する．また，新規に装置を購入することも検討する．動作の計測が可能になったら，その動作データを用いて，人形遣い３人から人形１体の動作の生成（あるいはその逆の処理）を行う学習モデルを検討し，練習システム構築のための動作比較方法を検討する．合わせて，人形遣いと人形の動作を熟練者に評価してもらい，その言葉のデータを用いて，動きに対して評価を言葉で表現する学習モデルも検討し，練習システムに加えることにする．
人形全体のデジタルアーカイブについては，早急に，ハイパースペクトルカメラとスライダーを用いて人形の撮影を行う．なお，この撮影時には，３Ｄスキャナによる計測も同時に行う．そして，ハイパースペクトルカメラによる撮影結果から人形表面の材質・色を識別する方法を検討し，さらに，３Ｄスキャナにて計測した形状データ上に，色と材質を表わすラベルのマッピングを行う方法について検討する．これによって，人形全体のデータが得られる．
ＣＴ画像から人形の頭の復元を行う研究については，これまでの医療用のＣＴ装置から工業用ＣＴ装置の使用を検討し，従来よりも高精度な材質の識別と形状計測を目指す．そして，頭の内部の部品に分割し，再製作が可能な情報を得られるようにする．
また，アーカイブデータの活用として，得られたデータを用いたコンテンツの作成とそのサイトの公開を行う．そして，今年度の検討内容ついて学会発表ならびに論文投稿を行う予定である．
|
