2017 Fiscal Year Research-status Report
バーチャルリアリティ技術を用いた民俗芸能の踊りの伝承環境の構築に関する研究
| Project/Area Number |
15K00283
|
|---|
| Research Institution | Tohoku University of Community Service and Science |
|---|
Principal Investigator |
玉本 英夫 東北公益文科大学, 公私立大学の部局等, 研究員 (10108920)
|
|---|
| Project Period (FY) |
2015-10-21 – 2019-03-31
|
| Keywords | 民俗芸能 / 伝承技術 / バーチャルリアリティ / モーションキャプチャ / ヒューマンインタフェース / コンテンツアーカイブ / CGアニメーション / 伝承環境 |
|---|
| Outline of Annual Research Achievements |
本研究では、今日の少子高齢化、地域の過疎化に伴い、伝承が難しくなっている民俗芸能の踊り(踊り)の伝承を支援するために、VR技術を用いた新しい伝承環境を開発することを目的としている。あたかも踊りが演じられている所(舞台)で、踊りを観る体験、踊りの共演をする体験のできる仕組みの構築を目指す。
平成29年度は、まず前年度に開発した踊りのCGアニメーションを制作する手法の検証を行った。この方法では、簡易型モーションキャプチャ(MoCap)のPerception Neuron(PN)で踊りを収録し、モーションデータの形式を変換したあと、CGアニメーションソフトのMikuMikuDance(MMD)を用いて、CGアニメーションを制作する。この手法を用いて、地域に残る500年の歴史を持つ伝統芸能の黒川能の舞い、地域の夏祭りで演じられる酒田甚句の踊りのCGアニメーションを制作した。黒川能の演者のモデルは専門家に依頼して制作したもの、酒田甚句の踊り手のモデルは以前の科研費で制作したものを用いた。楽曲は演技と同時に収録し、舞台は以前の科研費で制作したものなどを使った。日本学術振興会の事業「ひらめき☆ときめきサイエンス」に応募して採択され、平成29年9月に高校生24名の参加のもと、参加者の動作をPNで収録してMMDで動きを観る体験のできるCGアニメーション制作の実習を行った。その結果、簡易にCGアニメーションの制作ができることを確認できた。PNは計測精度・動作安定性に問題がありるが、この問題はまだ十分に解決できていない。
次に、踊りを体験できる手法について検討を行った。インターネット上にバーチャルの舞台を用意し、そこに参加者の分身のCGモデルとモーションデータを送り、参加者同士でオフライン・オンラインで共演できる仕組みの開発を試みた。予備実験を行い実現可能性は確認できたが、構築には至っていない。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
平成29年度は、モーションキャプチャ(MoCap)として、当初考えていたゲーム用コントローラのKinectに代えて、安価な慣性センサ式MoCapのPerception Neuron(PN)を用いて踊りのモーションデータを収録し、VR技術を用いて伝承環境(VR伝承環境)を構築することにした。この方法で地域に残る500年の歴史を持つ伝統芸能の黒川能の舞いと地域の夏祭りで演じられる酒田甚句の踊りを収録し、フリーのCGアニメーション作成ソフトのMikuMikuDanceを使って舞いや踊りをバーチャルに観る体験のできるCGアニメーションの制作方法の検証を行った。これによって検討した手法の妥当性を確認できた。ただし、CGアニメーションの制作過程でPNの計測精度と計測安定性に問題があることがわかった。計測時間が経過するに従って足の動きの計測誤差が大きくなり、また移動軌跡が実際の軌跡と大きくずれる。収録場所の環境の改善策とモーションデータの修正方法を検討し、ある程度の解決策はわかったが、この検討に時間がかかった。モーションデータの修正は手作業で行ったのでこの修正にも時間がかかったが、年度末までには黒川能の舞いを観る体験ができるCGアニメーションを制作し、報道発表を行った。
新しい伝承環境の構築には、踊りに参加する体験ができる仕組みの開発が必要である。バーチャルな舞台をインターネット上に設け、その舞台にインターネット経由で、自分の分身のCGモデル(すでに登録してあるモデルを使ってもよい)とMoCapで収録した踊りのモーションデータを送り、複数の参加者による踊りの共演をオフライン・オンラインで実現できる方法の基本アイデアを検討した。PNにはモーションデータをWiFiでコンピュータに伝送する機能がある。この機能を使って予備実験を行い実現可能性は確認できたが、システムを構築するに至っていない。
|
| Strategy for Future Research Activity |
平成29年末、本学に本格的な慣性センサ式のMoCapであるXsens MVNが導入され、平成30年度から稼働している。Perception Neuron(PN)と比べて精度よく計測でき、また安定して動作することを確認している。バーチャルに踊りを観る体験のできるCGアニメーションの制作には、このMoCapを使って踊りの動きを収録することにする。平成30年度の前半に10曲程度の踊りの動きを収束する予定である。
バーチャルに踊りに参加できる仕組みについては、平成29年度に基本アイデアを検討し、予備実験を行って実現可能性を確認しているので、平成30年度の前半にこの仕組みをインターネット上で実現することを目指す。多くの人が伝承環境を利用して踊りに参加するためには、安価なMoCapの利用が必須であるので、踊りはPNを用いて収録する。PNには計測精度及び計測安定性に問題があるが、改善のための方法を引き続き鋭意検討する。
協働作業で伝承環境を実現するには、CGアニメーションをいかに高品位にしかしながら簡易に制作できる仕組みを構築するかが、非常に重要である。フリーのCGアニメーション制作ソフトであるMikuMikuDanceを使うにしても、踊りの演者のCGモデルと舞台のCGモデルの簡易な制作方法の提案をする必要がある。この件についてもあわせて検討を進める。
最後に、バーチャルに踊りを観る体験のできるシステムとバーチャルに踊りに参加できるシステムを統合し、平成30年度内にVR伝承環境を構築してインターネットで広く公開する。
|
| Causes of Carryover |
（理由）当初、民俗芸能の踊りを収録するためのモーションキャプチャ(MoCap)として、計測精度とインターネット環境での利用法に課題があったが、安価であったのでゲーム用コントローラであるKinectの利用を想定していた。その後、研究経費内で購入できる本格的なMoCapであるPerception Neuron(PN)が発売され、上記の課題を解決できると考え、MoCapをKinectからPNに変更することにした。MoCapを変更しただけなので、計画通りに研究を進められると考えていたが、PNの利用技術の開発に予想以上の多くの時間を要し、VR伝承環境を構築するための作業が後ろにずれ込んだ。CGアニメーション制作用PCの購入、CGモデルの制作経費、演技者への謝金、収録のための出張経費とアルバイト経費、成果発表のための出張旅費、インターネットで広く公開するための経費等の支出を行わなかった。このために、次年度使用額が生じた。
（使用計画）VR伝承環境構築のために必要な経費である、CGモデルを制作するための経費、民俗芸能の踊りを収録するための出張旅費とアルバイト経費、演技者への謝金、インターネットで公開するための経費、研究成果発表のための旅費に充てる予定である。
|
Research Products
(2 results)
