マルチモーダル分析手法による音楽教師の技の解明

研究課題

研究課題/領域番号	23K02122
研究種目	基盤研究(C)
配分区分	基金
応募区分	一般
審査区分	小区分09010:教育学関連
研究機関	岡山理科大学
研究代表者	井本美穂岡山理科大学, 教育学部, 准教授 (40780705)
研究分担者	古山典子福山市立大学, 教育学部, 教授 (10454852) 秋山英久岡山理科大学, 情報理工学部, 講師 (20533201) 笹倉万里子鳥取大学, 国際乾燥地研究教育機構, 准教授 (30284087) 江本正喜岡山理科大学, 情報理工学部, 教授 (30892418) 早川倫子岡山大学, 教育学域, 教授 (60390241)
研究期間 (年度)	2023-04-01 – 2026-03-31
研究課題ステータス	交付 (2023年度)
配分額 *注記	4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円) 2025年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円) 2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円) 2023年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
キーワード	マルチモーダル / 音楽 / 身体 / 音楽教育 / マルチモーダル分析 / 視線計測 / 発話 / ジェスチャ
研究開始時の研究の概要	本研究は、音楽授業における教師の技について、マルチモーダル情報に基づいた客観的分析と質的分析を組み合わせ解明することを目的とする。具体的には、教師の授業中の視線・ジェスチャ・表情・音声などのマルチモーダル情報を客観的データとして計測する。これらのデータと、授業実践者へのインタビュー等を通して得た情報を照合し、教師の教授行動について多角的に分析することにより、音楽教師の技の解明を目指す。
研究実績の概要	初年度である本年度は、申請者らがこれまで各自で行ってきた実験手法を協議し、音楽教師の視線、ジェスチャ、表情、音声などのマルチモーダル情報を計測する手段について検討した。具体的には「音楽教師はどのような場面で何を見て・聴いているのか、何に対して、どのように身体を用いているのか」を明らかにするために、１）VRによる視聴の検討、２）モーションキャプチャによる動きの計測、の2点に焦点をあて、実験システムのプロトタイプ開発を進めた。１）VRデバイスを用いた没入型の視線計測システムを検討した。このシステムは、360度カメラで撮影した映像をVRデバイス内で再生し、実際の現場で指導するかのような没入感を得つつ、空間内での視野・視線の計測を目的とする。ただし、VRでの視聴では充分な解像度を得られておらず、視線計測についても調整が必要な段階である。２）モーションキャプチャの方法として、装着型の簡易モーションキャプチャデバイスの使用、映像からの姿勢推定、という2つの方法を検討した。簡易モーションキャプチャデバイスによる予備実験を行い、特定の動作を分類可能であることを確認した。さらに、考案したプロトタイプを用いて、学生および高校教師を対象に、合唱動画を視聴し指導助言を行う予備実験を行った。その結果、音楽指導の際には視覚よりも聴覚が優位である可能性が示唆された。加えて、指導を行うきっかけ（トリガー）となる事象が、熟達者と非熟達者で異なる可能性を見出した。
現在までの達成度 (区分)	現在までの達成度 (区分) 3: やや遅れている理由事前検証の結果、実験に用いる機器の変更を行ったこと、実験システムの構築に時間を要していることから、当初の予定よりデータ収集が遅れている。しかし本年度の検証により、マルチモーダル情報を小分けにし、計測する身体行動の優先順位を選定するなど、当初想定していなかったアプローチを策定することができたため、今後円滑に実験を進行することができると期待できる。
今後の研究の推進方策	次年度は、本年度構築した実験システムをもとに、次の事項に重点をおいて調査・実験を進める。１）動画視聴を用いた実験により、音楽指導のトリガーを発見する。さらに、トリガーの内容について、音楽指導の熟達者と非熟達者との類似点・相違点を比較する。２）音楽指導における教師の身体行動について、モーションキャプチャを用いて計測し、分析する。３）２）と教師の発話内容とを照合し、教師の身体行動と指導意図との相関関係を明らかにする。得られた成果については、学会発表および論文で公表する。