• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Research-status Report

学習方略の物語化と相対化に着目したピアノ演奏支援システムに関する研究

Research Project

Project/Area Number 16K12560
Research InstitutionFuture University-Hakodate

Principal Investigator

平田 圭二  公立はこだて未来大学, システム情報科学部, 教授 (30396121)

Co-Investigator(Kenkyū-buntansha) 竹川 佳成  公立はこだて未来大学, システム情報科学部, 准教授 (60467678)
田柳 恵美子  公立はこだて未来大学, 社会連携センター, 教授 (30522114)
椿本 弥生  東京大学, その他の研究科, その他 (40508397)
Project Period (FY) 2016-04-01 – 2019-03-31
Keywords学習経験のメタ認知と物語化 / 知的学習支援システム
Outline of Annual Research Achievements

(1) 練習支援ツールのプロトタイピング:視線を利用したピアノ演奏追跡機能を実現した.鍵盤を押下する情報のみによるピアノ演奏追跡に対して,演奏者の視線情報も利用すると,演奏追跡精度が13ポイント向上し,速度も40%向上した.ピアノ演奏者の手指悪癖を効率的に発見するために,打鍵時間間隔および打鍵強度の可視化,手指のそれぞれの関節の動きの可視化,検索のための譜面上演奏箇所とビデオ再生箇所の自動対応付けをプロトタイピングした.遠隔ピアノレッスン環境向けに,練習演奏時に効率的かつ正確に遠隔地の教師が注目したい点に注目できるよう複数のカメラを自動切り替えする仕組みをプロトタイピングした.ニューラルネットワークによる学習機能を取り入れることで,注目点の動的な変化にも柔軟に対応できる.
(2) プロトタイプシステムを用いた予備実験:ピアノ初心者に対して,鍵盤上に演奏や練習に有益な情報をプロジェクションマッピングすることで,熟達がどのような影響を受けるかを観察し,練習者の学習方略を大きく3タイプに分類できることを発見した.意図的にバイオリン練習者に誤情報を提示することで,練習システムからの自然な離脱を実現できることを確認した.
(3) 実験結果分析:上記(2)で作成したプロトタイプシステムを利用して,ピアノ演奏が熟達するにつれて練習者の認知がどのように変容するかを,練習者が意識するチャンクの変化から読み取れることを確認した.グラウンディッド・セオリー・アプローチを用いた結果,視覚情報が支配的な譜面チャンク,聴覚情報が支配的な演奏チャンク,知識の運用が支配的な音楽知識チャンクに分類できることが分かった.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

研究計画・方法で述べた3項目のいずれにおいても,当初の計画以上に進展している.
(1) 練習支援ツールのプロトタイピングにおいては,昨年度より継続的に作成しているアノテーション付与ツールをさらに高度化するための演奏追跡機能を実装した.練習状況をより詳細に記録しユーザにフィードバックするために,手指動作に着目する機能を実装した.自分や他学習者との比較を行うため,遠隔地で練習している状況を円滑に共有する機能を実装した.
(2) プロトタイプシステムを用いた予備実験においては,ピアノ演奏に加え,バイオリン演奏に関しても実験を実施し,振り返りについて多角的に考察を深めることができた.
(3) 実験結果分析においては,単に分析するだけでなく,チャンクを利用すれば効果的な振り返りができる可能性および熟達モデル構築へ向けたマイルストーンを見出した.次年度の最終実験に向けてより高い目標を立てることができる.

Strategy for Future Research Activity

基本的に予定通り進める.
(a) 評価実験に向けた実験システムの改良:練習と振り返りの切り替えができるだけシームレスとなるように改良する.ツールによる熟達支援が主目的であるが,練習と振り返りの切り替えに関しても評価に含める.
(b) 改良システムを用いての評価実験:現実の自然な学習環境に近い状態での実験を行う.できるだけ定量的な主張ができるような実験計画を立てる.
(c) 分析:振り返りによる自己省察と練習意欲との関連性,練習者の学習方略タイプによる熟達度や振る舞いの差異,他学習者のアノテーションや練習状況の情報が熟達プロセスに及ぼす影響などを調査する.

Causes of Carryover

(理由)旅費の使用において,他の用務と連続させることで節約できたため繰越が生じた.
(使用計画)次年度繰越分に関しては,H30年度研究環境向上のための消耗品購入に充てる予定である.

  • Research Products

    (9 results)

All 2018 2017

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (6 results)

  • [Journal Article] Design and Implementation of a Positioning Learning Support System for Violin Beginners, Using True, Vague and False Information2018

    • Author(s)
      Marino Kumaki, Yoshinari Takegawa, Keiji Hirata
    • Journal Title

      Journal of Information Processing

      Volume: 26 Pages: 285-293

    • DOI

      https://doi.org/10.2197/ipsjjip.26.285

    • Peer Reviewed
  • [Journal Article] DPマッチングのコストに視線情報を反映させた楽譜追跡システムの構築2018

    • Author(s)
      寺崎栞里, 竹川佳成, 平田圭二
    • Journal Title

      情報処理学会論文誌

      Volume: 59 Pages: 894-903

    • Peer Reviewed
  • [Journal Article] 鍵盤上への演奏補助情報投影機能をもつピアノ学習支援システムを用いた熟達化プロセスの評価分析2017

    • Author(s)
      竹川佳成, 平田圭二, 椿本弥生, 田柳恵美子
    • Journal Title

      情報処理学会論文誌

      Volume: 58 Pages: 1093-1100

    • Peer Reviewed
  • [Presentation] Proposal of Score-Following Reflecting Gaze Information on Cost of DP matching2017

    • Author(s)
      Shiori Terasaki, Yoshinari Takegawa, Keiji Hirata
    • Organizer
      The 43rd International Computer Music Conference (ICMC 2017)
  • [Presentation] Evaluation of Positioning Learning Support System using True information and False Information and Vague Information for Violin Beginner2017

    • Author(s)
      Marimo Kumaki, Yoshinari Takegawa, Keiji Hirata
    • Organizer
      The 43rd International Computer Music Conference (ICMC 2017)
  • [Presentation] 複数カメラのスイッチング半自動化機能をもつ遠隔ピアノレッスン支援システム2017

    • Author(s)
      松井遼太, 竹川佳成, 平田圭二
    • Organizer
      インタラクティブシステムとソフトウェアに関するワークショップWISS2017
  • [Presentation] 多視点演奏映像を活用したピアノ演奏指使い分析ツールの提案2017

    • Author(s)
      長谷川麻美, 竹川佳成, 平田圭二, 兼重直文
    • Organizer
      情報処理学会 音楽情報科学研究会2017-MUS-116
  • [Presentation] グラウンデッド・セオリー・アプローチ的方法によるピアノ演奏習得におけ るチャンク形成要因の予備分2017

    • Author(s)
      石垣愛美, 竹川佳成, 平田圭二, 冨永敦子
    • Organizer
      情報処理学会 音楽情報科学研究会2017-MUS-116
  • [Presentation] 教育評価の認識とメタ認知との関連2017

    • Author(s)
      椿本弥生
    • Organizer
      日本教育工学会 第33回総会

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi