2016 Fiscal Year Research-status Report
プロジェクションマッピングを用いた三味線の学習支援システムの構築
| Project/Area Number |
15K16103
|
|---|
| Research Institution | Muroran Institute of Technology |
|---|
Principal Investigator |
柴田 傑 室蘭工業大学, 工学研究科, 助教 (90649550)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | モーションキャプチャ / プロジェクションマッピング / 学習支援 / 拡張現実 |
|---|
| Outline of Annual Research Achievements |
少子・高齢化に伴って熟練者の技能を初心者に伝承する機会は減少している．そこで，モーションキャプチャ（ＭｏＣａｐ）を用いて熟練者の技能の「コツ」を解析し，解析した「コツ」をプロジェクションマッピングによって学習者に提示するような学習支援システムを検討する．本研究では，技能の中でも特に，日本の民俗的な楽器である三味線に着目し，三味線の学習支援システムを構築する．平静２８年度は，平成２７年度の検討結果に基づいて，以下の成果を得ることができた．
（１）平成２７年度の解析結果である右手にもつバチの動きの特徴について，国際会議ＩＣＩＲＡ２０１６で発表した．また，三味線の熟練者，音響の専門家との議論の場も設け，三味線の学習支援方法について整理した．
（２）当初計画に従って，プロジェクタを用いて三味線に情報を提示する手法について検討した．平成２７年度の成果を踏まえ，３Ｄプリンタを用いて冶具を造形し，プロジェクタを固定することとした．さらに，レーザープロジェクタを用いることによって，映像の焦点の校正作業などを大幅に簡略化した．
（３）平成２７年度の議論では，解析の対象としていた右手のバチの動きだけでなく，演奏時の左手の動きの習得手法についての指摘があった．そこで，指摘された左手の指の動きを，簡易型の手指用ＭｏＣａｐを用いて計測できることを確認した．また，実験の結果は，「平成２８年度 電気・情報関係学会 北海道支部連合大会」において発表し，議論を深めた．
（４）学習者への情報の提示方法について検討し，左手で抑えるべき弦の位置および音を鳴らすべきタイミングを三味線上に投影，手指用ＭｏＣａｐを用いて学習者の指の動きを評価するシステムを構築した．開発したシステムを用いて初心者向けの楽曲を練習する実験を実施した．本成果は，「第二回民俗芸能情報技術研究会シンポジウム」において発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２７年度に整備した研究環を活用し，当初計画通りの成果を上げている．当初計画では，予備実験で得られていた三味線の右手にもつバチの動きおよび構え方についての知見を基に研究を進める予定であった．しかし平成２７年度の議論を踏まえ，当初計画の範囲に加え，三味線演奏に重要な左手の動きの学習を支援するシステムのプロトタイプを構築した．
（ａ）当初計画ではプロジェクタの校正方法およびＣＧ映像の投影方法について検討する計画であった．これに対し，３Ｄプリンタによる専用冶具を用いて焦点フリーの小型レーザープロジェクタを三味線に固定することによって，容易に校正できるようにした．
（ｂ）当初計画では，ＨＭＤを用いた従来の学習支援システムの情報提示手法を基本に，学習のガイドとなる情報を提示する計画であった．特に平成２７年度の議論において左手の動きの重要性が指摘されたことを受け，移動するＣＧを三味線に投影して左手の動きを指示する新しい提示手法を考案した．考案した提示手法によって，ＣＧの色を用いて抑えるべき弦の種類，ＣＧの移動先を用いて抑える場所，移動が完了する時刻を用いて音をならすタイミングを指示することができるようになった．
（ｃ）平成２９年度に予定していた学習支援システムの構築作業を前倒しし，考案したＣＧの提示手法を実装し，初心者向けの練習曲を学習する予備実験を実施した．さらに，本研究を発展させるための実験として，磁気式ＭｏＣａｐと音声を同時に計測するシステムを構築し，津軽三味線の熟練者の演奏を計測した．当初計画に加えて得られたこれらの実験結果を活用し，平成２９年度は総合的な学習支援システムの構築および成果発表を計画している．
|
| Strategy for Future Research Activity |
三味線の学習支援システムについて，平成２９年度の計画を一部前出しして，すでにプロトタイプを実装している．さらに，実装したプロトタイプを用いた予備的な評価実験も実施済である．本プロトタイプは，主に三味線の左手の動きの学習支援を目的とするシステムである．プロトタイプシステムでは，左手の指を簡易型ＭｏＣａｐを用いて計測していたが，簡易型ＭｏＣａｐの設置位置の制約や計測精度が課題であることが明らかになっている．そこで平成２９年度は，高精度な磁気式ＭｏＣａｐを用いて左手の動きを計測する手法を検討する．
また，従来研究で開発した右手のバチの動きの学習支援システムと新たに開発したプロトタイプとの統合方法について検討する．統合においては，三味線本体の小さな投影面に多くの情報を提示する必要があると考えられる．そこで，プロジェクションマッピングによる情報提示と従来のモニタを用いた情報提示を組み合わせるなど，より効果的な情報提示方法について検討する．さらに，三味線の構え方，右手の動き，左手の動きという三味線演奏に重要な要素を順に学習できるような学習支援手法について検討する．
より発展的な「コツ」の解析をすすめるために，平成２８年度に実験した磁気式ＭｏＣａｐと音声を同時に計測するシステムの計測結果の解析手法も検討する．
これらの成果を踏まえて総合的な三味線の学習支援システムの開発および評価を進める．これらの開発，実験，評価においては，音声解析の専門家，民俗音楽の専門家，三味線の熟練者を含めて議論しながら進める．これらの開発の成果について国際会議における発表を目指し，研究成果を社会に還元すると同時に，広い視点での議論できるようにする．
|
| Causes of Carryover |
前年度の解析の結果を踏まえ，一部計画を変更し，簡易ＭｏＣａｐを用いたシステムの実装および実験に取り組んだため次年度使用額が生じた．
|
| Expenditure Plan for Carryover Budget |
主に新たに取り組んだシステム開発の成果のまとめ発表に用いる．また，予備実験の成果との統合を視野にいれ，全身用のＭｏＣａｐの導入を検討している．
|
