2019 Fiscal Year Research-status Report
モーションキャプチャデータの教師なし深層学習による舞踊特徴抽出と教育への応用
| Project/Area Number |
18K02893
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
中村 美奈子 お茶の水女子大学, 基幹研究院, 准教授 (20345408)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
芝野 耕司 東京外国語大学, その他部局等, 名誉教授 (50216024)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | モーションキャプチャ / データベース / 深層学習 / 舞踊教育 / 舞踊動作分析 / Labanotation |
|---|
| Outline of Annual Research Achievements |
本研究では、(a) 手持ちのデータに加え，CMUがマルチモーダル情報として公開しているデータなどモーションキャプチャデータを収集し，データベース化する。(b)主要なDeep LearningライブラリであるTensorFlow，Chainer，Caffeなどの比較検討及びAWSとGoogle App Engineの比較検討を行い，研究プラットフォームとして最適な環境を決定する。(c)モーションキャプチャデータは，マーカごとに捉えると音声データと同様のシリアルデータであることからRNNの改良型であるLSTM (Long Short Term Memory)を用いた多段のニューラルネットワークを構成し，教師なし学習を行うことによって画像認識分野で用いられているCNNや音声，言語認識分野で用いられているRNNのどちらが舞踊認識分野で適切なのかを検討する。(d)実際に人体動作モデル及びLabanotation動作モデルからなる多段ニューラルネットワークを構成し，特徴抽出及び抽出した特徴の検証を行うとともに，ネイティブダンサーと結果の検証を行い，汎用民族舞踊教材の開発を行う。
2019年度は、より汎用的なソフトであるOpen Poseを用いた舞踊のデータ取得と身体運動記譜法Labanotationによる分析と記述の検討を行った。
ハンガリー（The Centre for Digital Humanities at Eotvos Lorand University Hungary）に於いて開催され たDH_BUDAPEST_2019国際会議における研究発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2019年度は、DH_BUDAPEST_2019国際会議における研究発表を行うことができた。
|
| Strategy for Future Research Activity |
2020年度は最終年度であるが、新型コロナウイルス関連の自粛により、研究活動がかなり制限されており、研究の遅れが懸念されるが、教育への応用に関して一定の成果を挙げたいと考えている。
|
| Causes of Carryover |
最終年度に学会発表等を行いたいため、次年度使用額とした。
|
