2018 Fiscal Year Research-status Report
モーションキャプチャデータの教師なし深層学習による舞踊特徴抽出と教育への応用
| Project/Area Number |
18K02893
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
中村 美奈子 お茶の水女子大学, 基幹研究院, 准教授 (20345408)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
芝野 耕司 東京外国語大学, その他部局等, 名誉教授 (50216024)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | モーションキャプチャ / データベース / 深層学習 / 舞踊教育 / 舞踊動作分析 |
|---|
| Outline of Annual Research Achievements |
本研究では、(a) 手持ちのデータに加え，CMUがマルチモーダル情報として公開しているデータなどモーションキャプチャデータを収集し，データベース化する。(b)主要なDeep LearningライブラリであるTensorFlow，Chainer，Caffeなどの比較検討及びAWSとGoogle App Engineの比較検討を行い，研究プラットフォームとして最適な環境を決定する。(c)モーションキャプチャデータは，マーカごとに捉えると音声データと同様のシリアルデータであることからRNNの改良型であるLSTM (Long Short Term Memory)を用いた多段のニューラルネットワークを構成し，教師なし学習を行うことによって画像認識分野で用いられているCNNや音声，言語認識分野で用いられているRNNのどちらが舞踊認識分野で適切なのかを検討する。(d)実際に人体動作モデル及びLabanotation動作モデルからなる多段ニューラルネットワークを構成し，特徴抽出及び抽出した特徴の検証を行うとともに，ネイティブダンサーと結果の検証を行い，汎用民族舞踊教材の開発を行う。
2018年度は、より汎用的なソフトであるOpen Poseを用いた舞踊のデータ取得と分析を主に行った。また、ロボティクス分野における身体運動記譜法Labanotationによる分析と記述の検討も行い、海外のジャーナル（査読付き）に発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2018年度は、Open Pose などのより汎用的な身体動作解析についての検討を中心に行った。また、ロボティクス分野における身体運動記譜法Labanotationによる分析と記述の検討も行った。
|
| Strategy for Future Research Activity |
2019年度以降は、モーションライブラリ作成および、舞踊動作分析に重点をおいた研究を行う。国際学会での研究発表を目標とする。
|
| Causes of Carryover |
新機種の発売を待って、機器購入を行いたいため、次年度に繰り越すことにした。
|
