Development of the ubiquitous dance studio using Kinect

2016 Fiscal Year Annual Research Report

• Project/Area Number: 25350746
• Research Institution: Fukushima National College of Technology
• Principal Investigator: 湯川 崇 福島工業高等専門学校, その他部局等, 教授 (60289741)
• Project Period (FY): 2013-04-01 – 2017-03-31
• Keywords: 動作学習 / モーションキャプチャ

Outline of Annual Research Achievements

本研究は練習場所や練習時間に制約されずに気軽に身体動作の学習を可能にするための動作学習システム「ユビキタス稽古場」の開発を目的としている。
平成28年度は平成27年度までに開発した学習システムの評価を行い、その結果をもとにシステムの改善を行った。
本システムはモーションキャプチャシステムにより記録した師匠の動作データを保存する師匠動作データベースと、データベースに記録されている師匠の動作データからCGを作成するためのプログラム実行用PC、CGを表示するためのHMD、そして学習者の動作データを取得するためのモーションセンサKinectから構成される。
平成27年度までは、動作を記録するために専門のモーションキャプチャスタジオの利用を想定していた。そのため、師匠の動作データの演技者がスタジオに行かなくてはならないことや、スタジオのレンタル料が高額であるという問題があった。平成28年度は慣性式のモーションキャプチャシステムPerception Neuronを導入し、師匠の動作データを手軽に記録できるようにした。これに伴い、動作データベースに記録されているモーションデータのフォーマットを対応させた。
学習者がユビキタス稽古場プログラムを実行すると、モーションデータベースに収録されている動作データをもとに教師動作のCGが作成され、HMDに表示される。学習者がHMDに表示されるCGを見て動作の特徴をつかみやすくするため、そして師匠の動作と学習者の動作との比較をしやすくするために、教師動作のCGは学習者の体型に合わせて作成される。従来、学習者の体型の計測は手作業で行っており、多くの時間を要していた。動作学習の現場で速やかに学習者の体系を計測できるようにするため、Kinectにより学習者の関節位置を測定し、これを動作データサーバに送ることで、学習者の体形をもとにした教師動作CGを作成する手法を開発した。