• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Research and development of practice system for piano beginners using vertical line notation

Research Project

Project/Area Number 16K00501
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Learning support system
Research InstitutionKisarazu National College of Technology

Principal Investigator

Yasuyuki Saito  木更津工業高等専門学校, 情報工学科, 准教授 (40331996)

Co-Investigator(Kenkyū-buntansha) 中村 栄太  京都大学, 情報学研究科, 特別研究員(PD) (10707574)
Research Collaborator Sagayama Shigeki  
Agata Suguru  
Igarashi Yuu  
Sakai Yasuji  
Project Period (FY) 2016-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2018: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2017: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2016: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywordsタテ線譜の発展 / 自動伴奏システムEurydiceの改良 / 世界初のピアノ運指データセットの構築・公開 / 楽譜の簡易化 / 生成的統計モデルによる楽曲分析 / タテ線譜 / 自動伴奏システム / ピアノ運指 / スタンダードMIDIファイル / 自動ピアノ運指推定 / 自動譜めくり / ピアノ学習支援システム
Outline of Final Research Achievements

We aimed in particular to create a purpose of life for elder person, to be useful for elementary music education.
We improved the vertical line notation itself with automatic presentation of stems and beams. Moreover we realized the progression of music by tapping any piano key by applying Eurydice which is an automatic accompaniment system which follows human performances.
As a preliminary step to automatic piano fingering estimation, we asked skilled piano players to describe finger numbers for all the notes of the music, and constructed and released the world's first piano fingering data set.

Academic Significance and Societal Importance of the Research Achievements

本研究の成果は、ピアノ初心者向け練習システムの開発基盤技術として適用できる。それは、高齢者の生きがい創出、介護予防、リハビリテーション、初等音楽教育、保育士を目指す学生の育成などに資することが期待できる。
世界初のピアノ運指データセットを構築・公開した。これは、自動的なピアノ運指推定を行うための機械学習に与える学習データとして活用できるほか、演奏解析、演奏支援、自動編曲、自動採譜など多くの課題に役する。

Report

(4 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (43 results)

All 2018 2017 2016 Other

All Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 4 results,  Open Access: 2 results,  Acknowledgement Compliant: 1 results) Presentation (33 results) (of which Int'l Joint Research: 11 results) Remarks (6 results)

  • [Journal Article] Statistical Piano Reduction Controlling Performance Difficulty2018

    • Author(s)
      Eita Nakamura, Kazuyoshi Yoshii
    • Journal Title

      APSIPA Transactions on Signal and Information Processing

      Volume: 7-e13 Issue: 1 Pages: 1-12

    • DOI

      10.1017/atsip.2018.18

    • NAID

      120006782208

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Generative Statistical Models with Self-Emergent Grammar of Chord Sequences2018

    • Author(s)
      Hiroaki Tsushima, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii
    • Journal Title

      Journal of New Music Research

      Volume: NA Issue: 3 Pages: 1-23

    • DOI

      10.1080/09298215.2018.1447584

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Note Value Recognition for Piano Transcription Using Markov Random Fields2017

    • Author(s)
      Eita Nakamura, Kazuyoshi Yoshii, Simon Dixon
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech and Language Processing

      Volume: 25 Issue: 9 Pages: 1846-1858

    • DOI

      10.1109/taslp.2017.2722103

    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Rhythm Transcription of Polyphonic Music Based on Merged-Output HMM for Multiple Voices2017

    • Author(s)
      Eita Nakamura, Kazuyoshi Yoshii, Shigeki Sagayama
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: Vol. 25, No. 4 Issue: 4 Pages: 794-806

    • DOI

      10.1109/taslp.2017.2662479

    • Related Report
      2017 Research-status Report 2016 Research-status Report
    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Presentation] Automatic Music Accompaniment System Applied to Singing Recreation at Long-Term Geriatric Health-Care Facilities2018

    • Author(s)
      Yasuyuki Saito, Yasuji Sakai, Yuu Igarashi, Eita Nakamura, Suguru Agata, Shigeki Sagayama
    • Organizer
      IEEE 20th International Workshop on Multimedia Signal Processing (MMSP 2018), poster session
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automatic Music Accompaniment Technology Applied to Recreational Singing Activities at Long-Term Health-Care Facilities2018

    • Author(s)
      Yasuyuki Saito, Yasuji Sakai, Yuu Igarashi, Eita Nakamura, Suguru Agata, Shigeki Sagayama
    • Organizer
      The 3rd Conference on Computer Simulation of Musical Creativity (CSMC2018), oral session
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 關于自動伴奏「優莉迪斯」和發展遠景…通過實踐來考慮驗證2018

    • Author(s)
      齋藤 康之
    • Organizer
      第四屆亞太電子管風琴音樂夏令營
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Eurydice の介護老人保健施設および保育所における活用事例と将来2018

    • Author(s)
      齋藤 康之, 坂井 康二, 五十嵐 優, 中村 栄太, 阿方 俊, 嵯峨山 茂樹
    • Organizer
      日本電子キーボード音楽学会 第14回全国大会,研究発表
    • Related Report
      2018 Annual Research Report
  • [Presentation] タテ線譜・ユリディスとは何かIV ~現状・課題・将来~2018

    • Author(s)
      阿方 俊, 齋藤 康之, 五十嵐 優, 太田 恵美子, 小澤 真弓, 橘川 琢, 小熊 達弥, 坂井 康二, 戸引 小夜子, 永田 晃弘, 坂 利美
    • Organizer
      日本電子キーボード音楽学会 第14回全国大会,ラウンドテーブル
    • Related Report
      2018 Annual Research Report
  • [Presentation] 自動伴奏システムを応用した介護老人保健施設での音楽レクリエーション2018

    • Author(s)
      齋藤 康之, 坂井 康二, 五十嵐 優, 阿方 俊, 中村 栄太, 嵯峨山 茂樹
    • Organizer
      情報処理学会 音楽情報科学研究会(音学シンポジウム)
    • Related Report
      2018 Annual Research Report
  • [Presentation] Probabilistic Sequential Patterns for Singing Transcription2018

    • Author(s)
      Eita Nakamura, Ryo Nishikimi, Simon Dixon, Kazuyoshi Yoshii
    • Organizer
      10th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Towards Complete Polyphonic Music Transcription: Integrating Multi-Pitch Detection and Rhythm Quantization2018

    • Author(s)
      Eita Nakamura, Emmanouil Benetos, Kazuyoshi Yoshii, Simon Dixon
    • Organizer
      43rd IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 多重音検出とリズム量子化の統合による多声音楽の自動採譜2018

    • Author(s)
      中村栄太, Emmanouil Benetos, 吉井和佳, Simon Dixon
    • Organizer
      第120回情報処理学会音楽情報科学研究報告
    • Related Report
      2018 Annual Research Report
  • [Presentation] 楽譜簡略化と自動補完伴奏によるピアノ演奏練習支援システム2017

    • Author(s)
      福田 翼,中村 栄太,糸山 克寿,吉井 和佳
    • Organizer
      第114回 情報処理学会 音楽情報科学研究会
    • Place of Presentation
      ヤマハ本社(静岡県 浜松市)
    • Year and Date
      2017-02-27
    • Related Report
      2016 Research-status Report
  • [Presentation] 視線解析を併用した頷き動作による自動譜めくりシステム2017

    • Author(s)
      地曳 はるか, 齋藤 康之, 中村 栄太, 嵯峨山 茂樹
    • Organizer
      映像情報メディア学会 メディア工学研究会技術報告
    • Place of Presentation
      関東学院大学 関内メディアセンター(神奈川県 横浜市)
    • Year and Date
      2017-02-18
    • Related Report
      2016 Research-status Report
  • [Presentation] カラー画像内の対象物と背景からの印象語抽出による楽曲の半自動生成2017

    • Author(s)
      藤井 ほのか, 齋藤 康之, 嵯峨山 茂樹
    • Organizer
      映像情報メディア学会 メディア工学研究会技術報告
    • Place of Presentation
      関東学院大学 関内メディアセンター(神奈川県 横浜市)
    • Year and Date
      2017-02-18
    • Related Report
      2016 Research-status Report
  • [Presentation] Performance Error Detection and Post-Processing for Fast and Accurate Symbolic Music Alignment2017

    • Author(s)
      Eita Nakamura, Kazuyoshi Yoshii, Haruhiro Katayose
    • Organizer
      Proc. 18th International Society for Music Information Retrieval Conference (ISMIR)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 介護老人保健施設の入居者と自動伴奏システムとのインタラクション2017

    • Author(s)
      齋藤 康之, 坂井 康二, 五十嵐 優, 阿方 俊, 嵯峨山 茂樹
    • Organizer
      HAIシンポジウム2017
    • Related Report
      2017 Research-status Report
  • [Presentation] 介護老人保健施設における自動伴奏システムを用いた音楽レクリエーション2017

    • Author(s)
      坂井 康二,齋藤 康之
    • Organizer
      厚木市民ボランティア見本市
    • Related Report
      2017 Research-status Report
  • [Presentation] 自動伴奏システム Eurydice のインタフェース改善と応用2017

    • Author(s)
      齋藤 康之, 中村 栄太, 嵯峨山 茂樹
    • Organizer
      日本電子キーボード音楽学会 第13回全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] タテ線譜メソッドとは何かIII ~教材と指導,タテ線譜への変換,ユリディスの活用を通して~2017

    • Author(s)
      戸引 小夜子, 橘川 琢, 西山 淑子, 小澤 真弓, 垣浪 文美香, 小熊 達弥, 五十嵐 優, 坂井 康二, 坂 利美, 永田 晃弘, 牧野 剛博, 阿方 俊, 和智 正忠, 齋藤 康之
    • Organizer
      日本電子キーボード音楽学会 第13回全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] タテ線譜とEurydice を用いたピアノ初心者向け演奏システム ~木更津高専オープンキャンパスでの適用~2016

    • Author(s)
      齋藤 康之
    • Organizer
      日本電子キーボード音楽学会 第12回全国大会, ラウンドテーブル
    • Place of Presentation
      昭和音楽大学 南校舎(神奈川県 川崎市)
    • Year and Date
      2016-11-13
    • Related Report
      2016 Research-status Report
  • [Presentation] Rhythm Transcription of Polyphonic MIDI Performances Based on a Merged-Output HMM for Multiple Voices2016

    • Author(s)
      Eita Nakamura, Kazuyoshi Yoshii, Shigeki Sagayama
    • Organizer
      13th Sound and Music Computing Conference (SMC)
    • Place of Presentation
      Hamburg (Germany)
    • Year and Date
      2016-08-31
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] Rhythm Transcription of MIDI Performances Based on Hierarchical Bayesian Modelling of Repetition and Modification of Musical Note Patterns2016

    • Author(s)
      Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii
    • Organizer
      24th European Signal Processing Conference (EUSIPCO)
    • Place of Presentation
      Budapest (Hungary)
    • Year and Date
      2016-08-29
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] タテ線譜と初心者向けピアノ運指のSMF からの自動生成2016

    • Author(s)
      佐藤 陸, 中村 栄太, 齋藤 康之, 阿方 俊, 五十嵐 優, 嵯峨山 茂樹
    • Organizer
      情報処理学会 音楽情報科学研究会(夏のシンポジウム)
    • Place of Presentation
      東京理科大学 野田キャンパス(千葉県 野田市)
    • Year and Date
      2016-07-30
    • Related Report
      2016 Research-status Report
  • [Presentation] タテ線譜と自動伴奏システムEurydice によるピアノ初心者向け演奏システム2016

    • Author(s)
      齋藤 康之, 長野 亜美, 佐藤 陸, 中村 栄太, 阿方 俊, 五十嵐 優, 嵯峨山 茂樹
    • Organizer
      情報処理学会 音楽情報科学研究会(夏のシンポジウム), デモンストレーション:音楽情報処理の研究紹介XV
    • Place of Presentation
      東京理科大学 野田キャンパス(千葉県 野田市)
    • Year and Date
      2016-07-30
    • Related Report
      2016 Research-status Report
  • [Presentation] 演奏者の楽譜の休止区間における自動伴奏のテンポ制御2016

    • Author(s)
      長野 亜美, 齋藤 康之, 中村 栄太, 嵯峨山 茂樹
    • Organizer
      情報処理学会 音楽情報科学研究会(夏のシンポジウム)
    • Place of Presentation
      東京理科大学 野田キャンパス(千葉県 野田市)
    • Year and Date
      2016-07-30
    • Related Report
      2016 Research-status Report
  • [Presentation] 頷き動作による自動譜めくりシステムでの合図とリズムノリの判別2016

    • Author(s)
      地曳 はるか, 齋藤 康之, 中村 栄太, 嵯峨山 茂樹
    • Organizer
      情報処理学会 音楽情報科学研究会(夏のシンポジウム)
    • Place of Presentation
      東京理科大学 野田キャンパス(千葉県 野田市)
    • Year and Date
      2016-07-30
    • Related Report
      2016 Research-status Report
  • [Presentation] SMF解析による楽曲の難易度判定2016

    • Author(s)
      藤井 ほのか, 佐藤 陸, 齋藤 康之
    • Organizer
      情報処理学会 音楽情報科学研究会(夏のシンポジウム)
    • Place of Presentation
      東京理科大学 野田キャンパス(千葉県 野田市)
    • Year and Date
      2016-07-30
    • Related Report
      2016 Research-status Report
  • [Presentation] 音型の反復と変形に基づく階層ベイズ音楽言語モデルとMIDI演奏のリズム採譜への応用2016

    • Author(s)
      中村栄太, 糸山克寿, 吉井和佳
    • Organizer
      第112回 情報処理学会 音楽情報科学研究会(夏のシンポジウム)
    • Place of Presentation
      東京理科大学 野田キャンパス(千葉県 野田市)
    • Year and Date
      2016-07-30
    • Related Report
      2016 Research-status Report
  • [Presentation] Discrimination of page turning cue against head shaking motions in automatic music score page turning system2016

    • Author(s)
      Haruka JIBIKI, Yasuyuki SAITO, Eita NAKAMURA, Shigeki SAGAYAMA
    • Organizer
      Second International Workshop on Effective Engineering Education (IWEEE2016)
    • Place of Presentation
      Kisarazu, Chiba (Japan)
    • Year and Date
      2016-07-06
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] Estimation of Difficulty of Music by SMF Analysis2016

    • Author(s)
      Honoka FUJII, Yasuyuki SAITO
    • Organizer
      Second International Workshop on Effective Engineering Education (IWEEE2016)
    • Place of Presentation
      Kisarazu, Chiba (Japan)
    • Year and Date
      2016-07-06
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] GTTM に基づくメロディ音符列の確率的木構造モデル2016

    • Author(s)
      中村栄太, 浜中雅俊, 平田圭二, 吉井和佳
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州国際会議場(福岡県 北九州市)
    • Year and Date
      2016-06-06
    • Related Report
      2016 Research-status Report
  • [Presentation] スタンダードMIDIファイルからのタテ線譜の自動生成およびタテ線譜と自動伴奏システムの併用演奏2016

    • Author(s)
      齋藤 康之, 佐藤 陸, 中村 栄太, 阿方 俊, 五十嵐 優, 嵯峨山 茂樹
    • Organizer
      日本電子キーボード音楽学会 タテ線譜メソッド・ワークショップ
    • Place of Presentation
      昭和音楽大学 南校舎(神奈川県 川崎市)
    • Year and Date
      2016-06-05
    • Related Report
      2016 Research-status Report
  • [Presentation] Conversion from Standard MIDI Files to Vertical Line Notation Scores and Automatic Decision of Piano Fingering for Beginners2016

    • Author(s)
      Yasuyuki SAITO, Eita NAKAMURA, Riku SATO, Suguru AGATA, Yuu IGARASHI and Shigeki SAGAYAMA
    • Organizer
      Second International Conference on Technologies for Music Notation and Representation (TENOR2016)
    • Place of Presentation
      Cambridge (UK)
    • Year and Date
      2016-05-28
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] 確率的逆問題としての音楽情報処理2016

    • Author(s)
      嵯峨山 茂樹,小野 順貴,堀内 靖雄,堀 玄,中村 和幸,齋藤 康之
    • Organizer
      情報処理学会 音楽情報科学研究会(音学シンポジウム)
    • Place of Presentation
      東海大学 高輪キャンパス(東京都 港区)
    • Year and Date
      2016-05-21
    • Related Report
      2016 Research-status Report
  • [Presentation] カラー静止画像の印象にマッチした楽曲の半自動生成に関する研究2016

    • Author(s)
      根本 彩惠, 齋藤 康之
    • Organizer
      情報処理学会 音楽情報科学研究会(音学シンポジウム)
    • Place of Presentation
      東海大学 高輪キャンパス(東京都 港区)
    • Year and Date
      2016-05-21
    • Related Report
      2016 Research-status Report
  • [Remarks] Piano Fingering Dataset

    • URL

      http://beam.kisarazu.ac.jp/research/PianoFingeringDataset/

    • Related Report
      2018 Annual Research Report
  • [Remarks] 木更津工業高等専門学校 情報工学科 認識システム実験室

    • URL

      http://beam.kisarazu.ac.jp/~saito/research/research_list.html

    • Related Report
      2017 Research-status Report 2016 Research-status Report
  • [Remarks] 中村 栄太 (Eita Nakamura)

    • URL

      http://eita-nakamura.github.io/index-ja.html

    • Related Report
      2017 Research-status Report
  • [Remarks] 嵯峨山茂樹 - 研究者 - researchmap

    • URL

      https://researchmap.jp/sagayama/?lang=japanese

    • Related Report
      2017 Research-status Report
  • [Remarks] 中村 栄太(Eita Nakamura)

    • URL

      http://eita-nakamura.github.io/index-ja.html

    • Related Report
      2016 Research-status Report
  • [Remarks] 嵯峨山 茂樹 (さがやま しげき)

    • URL

      http://www.kisc.meiji.ac.jp/~sagayama/

    • Related Report
      2016 Research-status Report

URL: 

Published: 2016-04-21   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi