2023 Fiscal Year Research-status Report
| Project/Area Number |
23K02122
|
|---|
| Research Institution | Okayama University of Science |
|---|
Principal Investigator |
井本 美穂 岡山理科大学, 教育学部, 准教授 (40780705)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古山 典子 福山市立大学, 教育学部, 教授 (10454852)
秋山 英久 岡山理科大学, 情報理工学部, 講師 (20533201)
笹倉 万里子 鳥取大学, 国際乾燥地研究教育機構, 准教授 (30284087)
江本 正喜 岡山理科大学, 情報理工学部, 教授 (30892418)
早川 倫子 岡山大学, 教育学域, 教授 (60390241)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | マルチモーダル / 音楽 / 身体 |
|---|
| Outline of Annual Research Achievements |
初年度である本年度は、申請者らがこれまで各自で行ってきた実験手法を協議し、音楽教師の視線、ジェスチャ、表情、音声などのマルチモーダル情報を計測する手段について検討した。具体的には「音楽教師はどのような場面で何を見て・聴いているのか、何に対して、どのように身体を用いているのか」を明らかにするために、１）VRによる視聴の検討、２）モーションキャプチャによる動きの計測、の2点に焦点をあて、実験システムのプロトタイプ開発を進めた。
１）VRデバイスを用いた没入型の視線計測システムを検討した。このシステムは、360度カメラで撮影した映像をVRデバイス内で再生し、実際の現場で指導するかのような没入感を得つつ、空間内での視野・視線の計測を目的とする。ただし、VRでの視聴では充分な解像度を得られておらず、視線計測についても調整が必要な段階である。
２）モーションキャプチャの方法として、装着型の簡易モーションキャプチャデバイスの使用、映像からの姿勢推定、という2つの方法を検討した。簡易モーションキャプチャデバイスによる予備実験を行い、特定の動作を分類可能であることを確認した。
さらに、考案したプロトタイプを用いて、学生および高校教師を対象に、合唱動画を視聴し指導助言を行う予備実験を行った。その結果、音楽指導の際には視覚よりも聴覚が優位である可能性が示唆された。加えて、指導を行うきっかけ（トリガー）となる事象が、熟達者と非熟達者で異なる可能性を見出した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
事前検証の結果、実験に用いる機器の変更を行ったこと、実験システムの構築に時間を要していることから、当初の予定よりデータ収集が遅れている。しかし本年度の検証により、マルチモーダル情報を小分けにし、計測する身体行動の優先順位を選定するなど、当初想定していなかったアプローチを策定することができたため、今後円滑に実験を進行することができると期待できる。
|
| Strategy for Future Research Activity |
次年度は、本年度構築した実験システムをもとに、次の事項に重点をおいて調査・実験を進める。１）動画視聴を用いた実験により、音楽指導のトリガーを発見する。さらに、トリガーの内容について、音楽指導の熟達者と非熟達者との類似点・相違点を比較する。２）音楽指導における教師の身体行動について、モーションキャプチャを用いて計測し、分析する。３）２）と教師の発話内容とを照合し、教師の身体行動と指導意図との相関関係を明らかにする。得られた成果については、学会発表および論文で公表する。
|
| Causes of Carryover |
現在保有している機器での計測の可能性を検証することに注力して実験を実施したため設備備品費用が抑えられたこと、本年度は実験体制の構築を主眼とし学会発表用の出張費が少なかったことにより、次年度使用額が生じた。ここで生じた次年度使用額は、必要機器の購入および来年度以降の学会発表・論文執筆費用等に回す予定である。
|
Research Products
(2 results)
