2015 Fiscal Year Research-status Report
プロジェクションマッピングを用いた三味線の学習支援システムの構築
Project/Area Number |
15K16103
|
Research Institution | Muroran Institute of Technology |
Principal Investigator |
柴田 傑 室蘭工業大学, 工学(系)研究科(研究院), 助教 (90649550)
|
Project Period (FY) |
2015-04-01 – 2018-03-31
|
Keywords | モーションキャプチャ / プロジェクションマッピング / 学習支援 / 拡張現実 |
Outline of Annual Research Achievements |
少子・高齢化に伴って熟練者の技能を初心者に伝承する機会は減少している.本研究では,技能の中でも特に,日本の民俗的な楽器である三味線に着目し,モーションキャプチャ(MoCap)を用いて熟練者の技能の「コツ」を解析し,解析した「コツ」をプロジェクションマッピングによって学習者に提示するような学習支援システムの構築する.平成27年度は,当初計画に基づいて,以下の3つの成果を得ることができた. (1) 既に計測された三味線のMoCapデータの解析:既に計測済みの熟練者と初心者の三味線のモーションデータを解析した.この結果,三味線の初心者と熟練者では,右手に持つバチの軌跡の直線度と角度に差があることが明らかとなった.また,コンピュータグラフィックス(CG)を用いて動きの違いを学習者にフィードバックすることによって,一定の学習効果があることが明らかとなった.この解析結果は国際会議での発表を計画している. (2) 実験環境の整備:所属研究機関の変更に伴って,新たに実験環境を構築した.新しい実験環境において,これまで利用してきた磁気式MoCapおよび追加するセンサを用いて計測できることを確認した.また,新たに3Dプリンタが活用できるようになり,本研究で扱う三味線にセンサを装着するための専用治具を造形することに成功した. (3) プロジェクションマッピングの予備的な実験:当初計画であったプロジェクタを用いて三味線にCGを投影する予備的な実験に加え,計画を一部前倒しし,磁気式MoCapで計測した学習者の三味線の姿勢とあらかじめ計測してある熟練者の三味線の姿勢を比較し,小型プロジェクタを用いて比較結果を三味線の本体に投影するプロトタイプシステムを構築した.構築したプロトタイプについて,秋田大学民俗芸能情報技術研究所シンポジウムにおいて発表し,情報,音楽,社会科学の専門家と議論する場を設けた.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定にない所属研究機関の変更があり,これに伴って,新しい研究機関で効果的に研究が推進できるよう計画を見直している.しかしながら,見直しは軽微であり,おおむね計画通りである. (1) 既に計測された三味線のMoCapデータの解析は,当初計画に対し,わずかな遅れが生じている.しかしながら,MoCapデータの解析によって,三味線の熟練者と初心者の間で,右手に持つバチの軌跡の直線度と角度に違いがあること,CGを用いて動きの違いを学習者にフィードバックすることによって学習支援できること,および学習結果の統計的な評価手法についての知見が得られた. (2) 研究機関の変更によって,実験環境の整備に時間を割いたものの,装置の設置や予備的な計測実験を通し,当初計画の遂行に問題がないことを確認した.また,新しい環境では,当初計画していた計測装置に加えて3Dプリンタの活用が可能となった.3Dプリンタは形状が既知の実物体を造形できるので,MoCapのセンサおよびプロジェクタの専用治具を作成し,効果的な校正が可能になると期待できる. (3) プロジェクションマッピングの予備的な実験について,三味線に映像を投影するという当初計画を前倒しし,熟練者と学習者の差異を三味線本体に投影する予備実験を行った.この予備実験では,従来手法であるモニタを用いた学習支援の手法を基礎とし,MoCapを用いてリアルタイムに計測した学習者の三味線の角度と,あらかじめ計測した熟練者の三味線の角度を,矢印のCGの長さで表現し,三味線本体へ投影した.実験の結果は情報,音楽,社会科学の専門家があつまるシンポジウムで発表した.シンポジウムの議論によって,プロジェクタの校正方法,三味線の学習支援手法などについて課題点が明確となった.
|
Strategy for Future Research Activity |
既に計測された三味線のMoCapデータの解析について,国際会議での発表を計画しており,研究成果を社会へ還元すると同時に,議論を深める予定である.また,当初想定していた研究協力体制に加え,新しい環境においても良好な研究協力体制を築いており,音楽の専門家,音声解析の専門家との議論も深める. 平成27年度に一部前倒しして実施した三味線へCGを投影する予備実験に基づいて,プロジェクタを用いて学習者動きと熟練者の動きの違いを学習者にフィードバックする実験を進める.予備実験では,三脚に固定されたプロジェクタから三味線本体へ投影を試みたが,三味線が大きく動く場合に,映像が追従できないなどの課題が明らかになっている.そこで,現在使用しているプロジェクタに比べ,明るさが落ちるもののさらに小型のプロジェクタの導入し,新たに整備した3Dプリンタを用いて専用の治具を用いることによって,三味線とプロジェクタの位置姿勢を固定する手法についても検討する予定である.プロジェクタと三味線の相対的な位置関係が維持されることによって,プロジェクタの校正は容易になると考えられる. プロジェクタの校正方法に加えて,学習支援手法についての検討も進める.従来のモニタを用いた情報提示と投影による情報提示の違いについて検討し,効果的な学習支援手法について議論する. 平成27年度の議論の中で,三味線の左手の動きおよび演奏される音の計測と解析,評価の必要性について指摘を受けている.これらの点は,当初計画の範囲には含まれないものの,十分に検討されるべき事項と考える.当初計画にあるCG映像の投影実験を優先しながら,手指の動きを計測可能な簡易型のMoCap,三味線の音源を計測可能なマイクについて検討し,基礎的な知見が得られるよう努める.
|
Causes of Carryover |
当初研究計画にはない所属研究機関の変更があり,実験環境の整備が必要となった.当初計画では,既に計測済の実験データについて解析する予定であったが,一部計画を変更し,翌年度実施予定の予備実験を前倒し,新しい実験環境で本研究が遂行できることを確認した. これにともなって,解析結果を論文として投稿する予定であったが,この発表を翌年度の国際会議で発表するものとした.
|
Expenditure Plan for Carryover Budget |
計測済の実験データの解析およびその結果の発表のための費用として利用する.また,新しい実験環境でより効率的に実験が進められるよう,専用のプロジェクタ等を購入する予定である.
|
Research Products
(1 results)