• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

AR(拡張現実)技術を用いた楽器演奏支援システムの開発

研究課題

研究課題/領域番号 18K11573
研究機関徳島大学

研究代表者

獅々堀 正幹  徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)

研究分担者 光原 弘幸  徳島大学, 大学院社会産業理工学研究部(理工学域), 准教授 (90363134)
大野 将樹  徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
研究期間 (年度) 2018-04-01 – 2021-03-31
キーワード教育工学 / 拡張現実 / 音楽情報処理
研究実績の概要

本研究では専門的なアドバイザーがいなくても楽器の正しい演奏方法,特に運指の学習が効率的に行える楽器演奏支援システムの開発を目的とする.運指とは楽器を演奏するときの指の使い方のことであり,スムーズに演奏するための重要な演奏技能である.従来システムは教師となる運指モデルをモニター画面に表示させることで演奏を支援していたが,学習者が自身の手元と画面とを交互に確認しながら練習することになり,学習者にストレスを生じさせるといった問題点があった.
本研究では学習者にAR(拡張現実)機器を装着させ,学習者が演奏している手元に教師となる運指モデルを表示させることで,教師となる運指モデルと自身の運指を同時に見ながら直感的に学習することが可能な楽器演奏支援システムを開発することを目的とする.AR機器が表示する運指モデルに自身の指を合わせて動かすことで,あたかも専門家に指導を受けたかのような正しい運指技能を身に付けることができ,音楽教育現場における指導者の負担を軽減させるだけでなく,音楽の知識がなくても手軽に演奏を楽しめるため,楽器の演奏に興味を持つ子供を増加させることにも繋がる.令和元年度までに,メロディに合わせた教師用運指モデル表示システムおよび運指評価システムを開発した.特に,令和元年度はお手本用演奏映像から教師用運指モデルの自動生成技術を開発した.当初は,映像解析技術を用いて指の動きを検知する予定であったが,精度に問題が生じたため,モーションキャプチャー機器を用いて指の骨格情報を取得することにした.現在は,小学校低学年の音楽の教材になる程度の楽曲についてシステムを運用することが可能になっている.

  • 研究成果

    (8件)

すべて 2020

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 2件) 学会発表 (5件) (うち国際学会 3件)

  • [雑誌論文] Prototype Digital Signage System for Learning Material Delivery Focusing on Student Friendship2020

    • 著者名/発表者名
      Mitsuhara Hiroyuki、Shishibori Masami
    • 雑誌名

      International Journal of Emerging Technologies in Learning (iJET)

      巻: 15 ページ: 161~161

    • DOI

      10.3991/ijet.v15i22.14171

    • 査読あり / オープンアクセス
  • [雑誌論文] Comparative Experiments on Simulated Tornado Experience via Virtual Reality and Augmented Reality2020

    • 著者名/発表者名
      Mitsuhara Hiroyuki、Shishibori Masami
    • 雑誌名

      The Journal of Information and Systems in Education

      巻: 19 ページ: 21~31

    • DOI

      10.12937/ejsise.19.21

    • 査読あり / オープンアクセス
  • [雑誌論文] The Development of a Hand-Washing Support System Using Image Processing Techniques2020

    • 著者名/発表者名
      Katsumi Nagata、Masaki Oono、Masami Shishibori
    • 雑誌名

      International Journal of Advanced Intelligence

      巻: 11 ページ: 1~13

    • 査読あり
  • [学会発表] Academic Support for All Students Based on Reasonable Accommodations in Emergency Situations Using AI Chatbots2020

    • 著者名/発表者名
      Noboru Ueno, Hiroyuki Mitsuhara and Masami Shishibori
    • 学会等名
      Proc. of the 28th International Conference on Computers in Education (ICCE 2020)
    • 国際学会
  • [学会発表] Construction of Reasonable Accommodation by Chatbot Using SNS and Operation of an Accessibility Center2020

    • 著者名/発表者名
      Noboru Ueno, Hiroyuki Mitsuhara and Masami Shishibori
    • 学会等名
      Proc. of the 28th International Conference on Computers in Education (ICCE2020)
    • 国際学会
  • [学会発表] Make it Fun: The Application of Gamification in Earthquake Education for Foreigners2020

    • 著者名/発表者名
      Liu Meiqin, Hiroyuki Mitsuhara and Masami Shishibori
    • 学会等名
      Proc. of the 28th International Conference on Computers in Education (ICCE2020)
    • 国際学会
  • [学会発表] 深層学習を用いた尿細胞診断の自動化手法2020

    • 著者名/発表者名
      鷲田武晃,尾矢剛志,常山幸一,大野将樹,獅々堀正幹
    • 学会等名
      第19回情報科学技術フォーラム(FIT2020)
  • [学会発表] 卓球動画における深層学習を用いたスローモーションシーン検出手法2020

    • 著者名/発表者名
      迫田峻,大野将樹,獅々堀正幹
    • 学会等名
      第19回情報科学技術フォーラム(FIT2020)

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi