2021 Fiscal Year Annual Research Report
Extraction of dance features by unsupervised deep learning of motion capture data and application to education
| Project/Area Number |
18K02893
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
中村 美奈子 お茶の水女子大学, 基幹研究院, 准教授 (20345408)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
芝野 耕司 東京外国語大学, その他部局等, 名誉教授 (50216024)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | Open Pose / データベース / 深層学習 / 舞踊教育 / 舞踊動作分析 / Labanotation |
|---|
| Outline of Annual Research Achievements |
本研究では、(a) 手持ちのデータに加え，CMUがマルチモーダル情報として公開しているデータなどモーションキャプチャデータを収集し，データベース化する。(b)主要なDeep LearningライブラリであるTensorFlow，Chainer，Caffeなどの比較検討及びAWSとGoogle App Engineの比較検討を行い，研究プラットフォームとして最適な環境を決定する。(c)モーションキャプチャデータは，マーカごとに捉えると音声データと同様のシリアルデータであることからRNNの改良型であるLSTM (Long Short Term Memory)を用いた多段のニューラルネットワークを構成し，教師なし学習を行うことによって画像認識分野で用いられているCNNや音声，言語認識分野で用いられているRNNのどちらが舞踊認識分野で適切なのかを検討する。(d)実際に人体動作モデル及びLabanotation動作モデルからなる多段ニューラルネットワークを構成し，特徴抽出及び抽出した特徴の検証を行うとともに，ネイティブダンサーと結果の検証を行い，汎用民族舞踊教材の開発を行う。
1年間研究期間を延長したが、依然としてコロナ渦が収まらず、海外での国際学会発表や資料収集が全くできない状況の中、できる範囲での研究活動となった。国内での移動がある程度可能になったことから、舞踊実演の資料収集を行った。
2021年度は、昨年度に引き続き、より汎用的なソフトであるOpen Poseを用いた舞踊のデータ取得と身体運動記譜法Labanotationによる分析と記述の検討を行った。
予定していた国際学会が中止となったため、国内の学会である舞踊学会学会大会（オンライン開催）において、研究発表を行った。
|
