2016 Fiscal Year Research-status Report
バーチャルリアリティ技術を用いた民俗芸能の踊りの伝承環境の構築に関する研究
| Project/Area Number |
15K00283
|
|---|
| Research Institution | Tohoku University of Community Service and Science |
|---|
Principal Investigator |
玉本 英夫 東北公益文科大学, 公私立大学の部局等, 研究員 (10108920)
|
|---|
| Project Period (FY) |
2015-10-21 – 2018-03-31
|
| Keywords | 民俗芸能 / 伝承技術 / バーチャルリアリティ / モーションキャプチャ / ヒューマンインターフェース / コンテンツアーカイブ / CGアニメーション / 伝承環境 |
|---|
| Outline of Annual Research Achievements |
民俗芸能の踊り（以下踊り）は、それが演じられている所（以下舞台）で観たり演じたりすることによって伝承される。今日の少子高齢化、地域の過疎化に伴い、このような形での伝承が難しくなっている。そこで、本研究では、VR技術を使い、いつでもどこでも、あたかも舞台に行って踊りを観たり演じたりする体験ができる仕組みを検討し、新しい伝承方法（以下VR伝承環境）を開発することを目指している。舞台に行けなくても、舞台がなくなっていても、熟練者がいなくても、踊りを観たり演じたりできる。
平成28年度は、まず、踊りを観る体験ができるCGアニメーションの制作手法を検討した。モーションキャプチャ（MoCap)で熟練者の踊りのデータ（以下モーションデータ）を収録しながら楽曲を録音する。舞台と熟練者のCGモデルを作り、舞台で楽曲に合わせて熟練者のCGモデルにモーションデータで踊りを演じさせるCGアニメーションを制作する。CGアニメーション制作用のフリーソフトウェアであるMikuMikuDance（MMD）に実装したところ、臨場感のあるCGアニメーションを短時間で制作することができた。このアニメーションを鑑賞用CGアニメーションと呼ぶ。
次に、踊りを演じる体験ができるCGアニメーションを制作する手法を検討した。鑑賞用CGアニメーションを観ながら踊りを演じ、その動きをMoCapで収録する。鑑賞用CGアニメーションに分身のCGモデルを追加し、自身のモーションデータでこのモデルに踊りを演じさせるCGアニメーションを制作する。MMDに実装したところ、リアルタイムではないので臨場感は感じられなかったが、CGアニメーションの制作過程で踊りに参加している意識を持つことができた。
VR伝承環境では、さらに、リアルタイムで分身に踊りを演じさせること、複数の踊り手が一つの舞台で共演できる必要であるが、その可能性を確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初計画では、平成28年度にはVR伝承環境のプロトタイプの開発を行う予定であった。計画通りにいかなかった理由は二つあり、一つは、踊りの動きを収録するための簡易型のモーションキャプチャ（MoCap）の計測精度を上げることができなかったことである。もう一つは、これまで、科研費の支援のもとに収録したBVA形式の踊りのモーションデータを標準的なBVH形式に変換できなかったことである。VR伝承環境のプロトタイプは、フリーのCGアニメーション作成用ソフトウェアであるMikuMikuDance（MMD）を使って開発することにしていた。このためには、モーションデータはVMD形式でなくてはならず、変換をするにしてもBVH形式でなくてはならなかった。しかし、これら二つの問題を解決するための有効な方法を見出すことはできなかった。
方針を変えて、発売早々の安価ではあるが十分に精度が保証できている慣性センサ式のMoCap（Perception Neuron）を導入することにした。このMoCapでは、モーションデータをBVH形式で取得でき、フリーのソフトウェア（Live Animation）で簡単にVMD形式に変換できる。このMoCapで熟練者の踊りのモーションデータを新たに収録してデータベースを作り、踊りに参加する際の踊り手のモーションデータはこのMoCapで収録し、VR伝承環境ではオフラインあるいはリアルタイムでこのMoCapを利用することにした。
新たに導入したMoCapの開発環境を整備するのに時間がかかった。このために、このMoCapを用いて、踊りを観る体験ができるCGアニメーションを制作すること、踊りを演じる体験ができるCGアニメーションを制作することはできたが、VR伝承環境のプロトタイプを開発するには時間が足りなかった。
|
| Strategy for Future Research Activity |
本研究では、今日の少子高齢化、地域の過疎化に伴い、伝承が難しくなっている民俗芸能の踊り（以下、踊り）の伝承を支援するために、VR技術を用いた新しい伝承方法（以下、VR伝承環境）を提案し、開発することを目的としている。このために、あたかも、踊りが演じられている所（以下、舞台）に行って踊りを観たり演じたりする体験ができる仕組み、舞台を用意して多くの人が踊りの共演をしている体験ができる仕組み作り、多くの人の協働作業でVR伝承環境を構築することを目指す。
昨年度、安価ではあるが十分に精度が保証できている慣性センサ式のMoCap（Perception Neurn）を導入した。これを用いることよって、踊りを観たり演じたりする体験ができ、また、リアルタイムではないが熟練者を含む複数の踊り手が一つの舞台で共演できるCGアニメーションの制作が可能になった。これらの成果を基に、今年度、次のような方法でVR伝承環境の構築を行う。
１）舞台のモデル、踊り手のモデル、楽曲、モーションデータのデータベースを構築する、２）データベースを多くの人の協働作業で構築するための仕組みとソフトウェアの開発を行う、３）CGアニメーション制作のためのMikuMikuDanceに代わるソフトウェアの開発を行う、４）モーションキャプチャで計測したモーションデータをリアルタイムでVR伝承環境に送信する方式とそのためのソフトウェアの開発を行う、５）リアルタイムで踊りの共演ができる仕組みとソフトウェアの開発を行う、６）多くの人がストレスなく利用できるようなインターフェースの開発を行う。
最後に、上記の方法で開発したVR伝承環境をインターネットで公開し、伝承に資する新しい伝承環境になっているかを検証する。
|
| Causes of Carryover |
研究の開始時期の大きな課題の一つは、使用を予定していた簡易型モーションキャプチャ（MoCap）の計測精度をいかに高めるかであった。また、以前の科研費で収録した民俗芸能の踊りのモーションデータの形式が、VR伝承環境のプロトタイプ開発で使用することにしたCGアニメーション制作ソフトウェアであるMikuMikuDanceではそのままでは利用できず、いかにして変換するかも課題の一つであった。これらの課題を解決することは難しく、方針を変更して、平成29年度に発売された安価ではあるが精度よく計測できる慣性センサ式MoCapを導入することにした。
このMoCapの導入を決めるまでに時間がかかり、導入後も開発環境を整備するのに時間がかかったために、VR伝承環境のプロトタイプを開発するには時間が足りなくなった。必要な物品の購入を行わず、また、研究成果の発表ができなかったために、次年度使用額が生じた。
|
| Expenditure Plan for Carryover Budget |
VR伝承環境を構築するためのPCの購入、踊り手のモデルを作成するための機材（簡易型の3Dスキャナ）の購入、研究成果発表のための旅費、民俗芸能の踊りを収録するための出張旅費、演技者の方への謝金、VR伝承環境を構築するためのPCの購入、インターネットで広く公開するための経費に充てる予定である。
|
