• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a Keyboard Performance Skill Estimation Method Based on Multimodal Biometric Data

Research Project

Project/Area Number 19K12232
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62020:Web informatics and service informatics-related
Research InstitutionNagaoka University of Technology

Principal Investigator

Nakahira T. Katsuko  長岡技術科学大学, 工学研究科, 准教授 (80339621)

Co-Investigator(Kenkyū-buntansha) 秋元 頼孝  長岡技術科学大学, 工学研究科, 准教授 (00555245)
Project Period (FY) 2019-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Keywordsマルチモーダル生体情報 / 演奏技能推定 / 認知シミュレーション / 脳血流量 / ATS理論 / 技能教育 / サービス情報 / マルチモーダル
Outline of Research at the Start

本研究は,ピアノ演奏技能修得時の学習者の読譜/演奏時における視行動を主たる情報源として,学習者の潜在状態を表現する視聴覚-運動協調モニタリングの結果を活用した演奏熟達度評価手法の開発を行う.視線計測から得られる視行動データを用いて,学習者の脳活性度や演奏行動エラーパタンを推定し,学習者の潜在状態を記述する.(1) 読譜時/演奏時における視行動分析,を軸に,(2) 読譜時/演奏時の脳活性度計測結果,(3)ヒューマンエラー分類,(2),(3) と(1) の関係を導くことによって,視行動パタンから視聴覚-運動協調の状況を学習者の潜在状態を反映した演奏熟達度であるとして,その評価を行う.

Outline of Final Research Achievements

The main issues in this study were (1) analysis of visual behavior during reading and performance, (2) measurement of brain activity during reading and performance, and (3) human error classification of keystroke errors that occur during performance. Because data for (2) could only be obtained for one piano instructor due to the Corona disaster, we focused on (1) and (3). For (1), we proposed the information acquisition range, which indicates the extent to which information is acquired from the area of the score during a single reading session, and the information acquisition time, which indicates the time spent there, as indicators of performance proficiency in visual behavior analysis during reading/performance. The simulation results showed that (3) was also predictable.

Academic Significance and Societal Importance of the Research Achievements

本課題は,鍵盤楽器演奏を例に,マルチモーダル生体情報に基づいて演奏技能推定手法を開発することを目的とした.これは,指導者の主観的な評価に頼らざるを得なかった学習者の演奏技能を生体情報を用いて事前に推定し,付与する課題難易度の適正を検討し,学習者の学習意欲を削がないことにあった.
同様の手法を用いることで,他の技能教育についても,知覚ー認知過程に即した

Report

(5 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (12 results)

All 2022 2021 2019

All Journal Article (2 results) (of which Open Access: 2 results,  Peer Reviewed: 1 results) Presentation (10 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] 簡易脳波計によるピアノ演奏技能の上達評価に向けた予備的研究:キーボードの違いと演奏音の有無が脳波と反応時間に与える影響2021

    • Author(s)
      秋元頼孝, 石野未沙, 三宅圭音, 宮澤志保, 落合純, 中平勝子
    • Journal Title

      長岡造形大学研究紀要

      Volume: 19 Pages: 6-13

    • Related Report
      2021 Research-status Report
    • Open Access
  • [Journal Article] Estimation of the Level of Skill in Piano Performance Based on the Patterns of Eye Movements in Score Reading2019

    • Author(s)
      中平勝子,寺岡耕平,長井貴也,北島宗雄
    • Journal Title

      The Transactions of Human Interface Society

      Volume: 21 Issue: 4 Pages: 371-380

    • DOI

      10.11184/his.21.4_371

    • NAID

      130007751108

    • ISSN
      1344-7262, 2186-8271
    • Year and Date
      2019-11-25
    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 鍵盤楽器演奏における曲中フレーズ学習過程のACT-R シミュレーション:学習促進要因の抽出2022

    • Author(s)
      野上 真・後閑 祐介・北島 宗雄・中平 勝子
    • Organizer
      第21回情報科学技術フォーラム
    • Related Report
      2022 Annual Research Report
  • [Presentation] Analysis of the Relationship between Subjective Difficulty of a Task and the Efforts Put into It using Biometric Information2022

    • Author(s)
      Katsuko T. Nakahira, Munenori Harada, Muneo Kitajima
    • Organizer
      6th International Conference on Human Computer Interaction Theory and Applications
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 音価判定にかかる知識獲得・利用とエラー発生過程のACT-R シミュレーション2022

    • Author(s)
      後閑祐介,北島宗雄,中平勝子
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 脳波計測によるピアノ演奏課題の練習効果の測定の試み2022

    • Author(s)
      三宅圭音,石野未沙,秋元頼孝,中平勝子
    • Organizer
      2021年度JSiSE学生研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] 簡易脳波計で取得した脳波データのデータ量と機械学習のパフォーマンスの 関係についての検討2022

    • Author(s)
      伊藤遼哉,秋元頼孝,中平勝子
    • Organizer
      2021年度JSiSE学生研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] 鍵盤楽器演奏時のアクションスリップ分類と音楽記号の認識能力の関係分析2021

    • Author(s)
      後閑祐介,中平勝子,北島宗雄
    • Organizer
      第83回情報処理学会全国大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 脳波・視線同時計測を用いた難易度推定指標の設計2021

    • Author(s)
      鈴木理玖,秋元頼孝,中平勝子
    • Organizer
      第83回情報処理学会全国大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 単語中の文字順変更を含む文理解時の脳波計測2021

    • Author(s)
      渡邉怜,秋元頼孝,中平勝子
    • Organizer
      2020年度JSiSE学生研究発表会
    • Related Report
      2020 Research-status Report
  • [Presentation] 楽器演奏教育支援のための楽典学習の深化と読譜方略選択の関係2019

    • Author(s)
      武田大河,中平勝子,北島宗雄
    • Organizer
      FIT2019
    • Related Report
      2019 Research-status Report
  • [Presentation] 文章更新量比較技術を適用した鍵盤楽器演奏間の相違の量的評価手法2019

    • Author(s)
      後閑祐介,中平勝子,北島宗雄
    • Organizer
      FIT2019
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi