• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

自動楽曲推薦・編曲とタテ線譜・自動伴奏システムによる中高齢者のピアノ演奏支援

研究課題

研究課題/領域番号 21K12187
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分62030:学習支援システム関連
研究機関木更津工業高等専門学校

研究代表者

齋藤 康之  木更津工業高等専門学校, 情報工学科, 准教授 (40331996)

研究分担者 金子 仁美  東京藝術大学, 音楽学部, 准教授 (00408949)
中村 栄太  京都大学, 白眉センター, 特定助教 (10707574)
饗庭 絵里子  電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワードピアノ運指 / データベース / ピアノ運指データベース / ピアノ演奏動画像解析 / ピアノ鍵盤分類器 / 半自動指位置追跡 / 自動楽曲推薦・編曲 / タテ線譜 / 自動伴奏システム / 中高齢者のピアノ演奏支援
研究開始時の研究の概要

先端情報処理技術と統計学習理論に基づいて、ピアノ演奏の学習過程の効率化を研究する。本研究のキーポイントは、(1)誰でも読譜できる「タテ線譜」を中高齢者に適用すること、(2)急速に発展中の統計機械学習を用いた音楽情報処理に必要な大規模演奏データを獲得・分析すること、(3)演奏計算モデルに基づく奏者の個人性に応じた学習効率最適化により楽曲推薦することである。これらより、中高齢者の個人に最適な練習楽曲集を提示し、ピアノ演奏の継続による認知症予防などが見込まれる。情報学・音楽心理学・音楽教育学の研究者の共同体制の下で取り組む、一般性の高い理論に基づく学習効率化の先駆的な試みである。

研究実績の概要

ピアノ運指情報の取得を目指し,カメラ映像内のピアノ鍵盤の位置推定方法について検討した.ピアノ鍵盤を含む正解画像と,含まない不正解画像を準備し,機械学習の枠組みで,上から撮影したシーン内のピアノ鍵盤の位置を推定する方法について取り組んだ.照明位置の変化も含む,いくつかのシーンからピアノ鍵盤の周囲を手動で切り取った画像を入力したところ,大まかな位置を推定するに留まり,ピアノ鍵盤の外周の正確な認識には至っていない.また,ピアノの周囲の床も含めた自然なシーンを入力した場合は,ピアノ鍵盤を全く検出できないなど,課題が残った.
学会発表などにはまだ至っていないが,ウェアラブルキーボード「Tap Strap 2」を用いたピアノ運指情報の取得にも取り組んだ.通常は指のタップにより英文字が入力できるが,Shift や特殊機能のためのSwitch の組み合わせにより大文字や数字なども入力できる.ところが,Shift やSwitch の場合は,タップ動作をした瞬間にはキーコードが出力されないので,特にそれらの指の組み合わせによるタップ動作が連続した場合は,タップした正確な時刻情報の取得は困難である.これに対し,「RAWモード」という特別なモードにおいては0〜31の数値がそのまま出力されることが分かり,指の組み合わせに対する正しいコードが比較的精度よく出力され,非常に小規模かつ奏者への負担の少ないシステムによって動的にピアノ運指情報を取得できる目処がたった.
また,メロディや和音進行などに関する研究について取り組むなど,音楽学とその周辺分野におけるコンピュータを用いた音楽情報処理を中心に検討を進めた.

現在までの達成度 (区分)
現在までの達成度 (区分)

4: 遅れている

理由

効率のよいピアノ運指取得方法の整備が遅れており,それに伴い,演奏データの収集が遅れている.そのため,データセット構築やデータ分析も進んでいない状況である.

今後の研究の推進方策

天井付近からのビデオ映像解析による運指情報の取得方法や,ウェアラブルキーボードを用いた運指情報の取得方法の研究が進んでおり,実演奏からの運指情報の円滑な取得が整備されつつある.
以前に構築して公開しているピアノ運指データセット(PIG dataset)は,ピアノ演奏家によって楽譜に運指を書き込んでもらうという方法であった.これに対し,現在 取り組んでいる方法では,奏者に演奏してもらうだけで運指情報を取得できるだけでなく,音量やペダリングといった動的な情報も同時に取得できる.この方法により,内容を拡充した「PIG dataset 2」の構築・公開を目指す.

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (34件)

すべて 2024 2023 2022 2021 その他

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (28件) (うち国際学会 5件、 招待講演 1件) 備考 (4件)

  • [雑誌論文] ジェラール・グリゼイ『機械仕掛けの時間』をめぐって - 楽曲分析による音楽の新たな時間概念の考察 -2024

    • 著者名/発表者名
      金子 仁美
    • 雑誌名

      東京藝術大学音楽学部紀要

      巻: 49 ページ: 33-52

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] 1970年代フランスにおける新しい作曲の姿勢2023

    • 著者名/発表者名
      金子 仁美
    • 雑誌名

      桐朋学園大学研究紀要

      巻: 49 ページ: 41-46

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [学会発表] ピアノ鍵盤検出用カスケード分類器の構築2024

    • 著者名/発表者名
      田村 陵真, 齋藤 康之
    • 学会等名
      映像情報メディア学会 メディア工学研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] MIDIピアノを用いたピアノコンクールの合格者と不合格者の演奏における拍間隔変化の比較2024

    • 著者名/発表者名
      高橋舞, 小林未知数, 中村栄太, 大向一輝
    • 学会等名
      第134回情報処理学会人文科学とコンピュータ研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 創作知識の進化モデルに基づく作曲スタイルの変遷過程の分析2024

    • 著者名/発表者名
      中村栄太
    • 学会等名
      第139回情報処理学会音楽情報科学研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 窒素 - 3Dモデルによる音楽XIV2024

    • 著者名/発表者名
      金子仁美
    • 学会等名
      アンサンブル・コンテンポラリーα
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Neural band-to-piano score arrangement with stepless difficulty control2023

    • 著者名/発表者名
      Moyu Terao, Eita Nakamura, Kazuyoshi Yoshii
    • 学会等名
      48th IEEE International Conference on Acoustics, Speech, and Signal Processing Conference (ICASSP)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Experimental evolution of music styles using automatic composition models2023

    • 著者名/発表者名
      Eita Nakamura, Hitomi Kaneko, Takayuki Itoh, Kunihiko Kaneko
    • 学会等名
      2023 Conference on Artificial Life (ALIFE)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Computational analysis of audio recordings of piano performance for automatic evaluation2023

    • 著者名/発表者名
      Norihiro Kato, Eita Nakamura, Kyoko Mine, Orie Doeda, Masanao Yamada
    • 学会等名
      18th European Conference on Technology Enhanced Learning (ECTEL)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Automatic orchestration of piano scores for wind bands with user-specified instrumentation2023

    • 著者名/発表者名
      Takuto Nabeoka, Eita Nakamura, Kazuyoshi Yoshii
    • 学会等名
      16th International Symposium on Computer Music Multidisciplinary Research (CMMR)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Computational analysis of selection and mutation probabilities in the evolution of chord progressions2023

    • 著者名/発表者名
      Eita Nakamura
    • 学会等名
      16th International Symposium on Computer Music Multidisciplinary Research (CMMR)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 記号列の変異・選択モデルに基づくコード進行の進化過程の分析と予測2023

    • 著者名/発表者名
      中村栄太, 金子仁美, 伊藤貴之, 金子邦彦
    • 学会等名
      第138回情報処理学会音楽情報科学研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 確率的生成モデルに基づく音楽スタイル進化の選択・変異・輸入過程の推論2023

    • 著者名/発表者名
      中村栄太
    • 学会等名
      第16回日本人間行動進化学会大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 日本のポピュラー音楽におけるメロディー特徴量の進化分析2023

    • 著者名/発表者名
      中村栄太
    • 学会等名
      日本ポピュラー音楽学会第35回年次大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 音楽分析・生成のための非和声音データベースの構築2023

    • 著者名/発表者名
      髙橋拓椰, 金子仁美, 中鹿亘, 嵯峨山茂樹
    • 学会等名
      第137回情報処理学会音楽情報科学研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 恒星 - 3Dモデルによる音楽XIII2023

    • 著者名/発表者名
      金子仁美
    • 学会等名
      全音楽譜出版社
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] ピアノ譜から吹奏楽譜への楽器編成を指定可能な自動編曲2023

    • 著者名/発表者名
      鍋岡琢渡, 中村栄太, 寺尾萌夢, 吉井和佳
    • 学会等名
      第85回情報処理学会全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 学習者のメタ認知と指導者の評価を考慮したピアノ練習演奏の分析2023

    • 著者名/発表者名
      加藤徳啓, 峯恭子, 中村栄太, 土江田織江, 山田昌尚
    • 学会等名
      第85回情報処理学会全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] La vie de notre planete - composition par la modelisation 3D VII pour 12 enstruments japonais2023

    • 著者名/発表者名
      Hitomi Kaneko
    • 学会等名
      自作レクチャー「地球・生命 -- 3Dモデルによる音楽VII」邦楽アンサンブルのための
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] ピアノ演奏時の運指検出システムの作成、およびプロとアマチュアの運指の比較による検証2023

    • 著者名/発表者名
      五十嵐 元樹,饗庭 絵里子
    • 学会等名
      第85回情報処理学会全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] モデルによる補完を用いたピアノ運指の効率的なラベル付けの検証2022

    • 著者名/発表者名
      齋藤康之, 中村栄太, 饗庭絵里子, 金子仁美
    • 学会等名
      第134回情報処理学会音楽情報科学研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 隠れマルコフモデルを用いたピアノ練習演奏の弾き間違い分析2022

    • 著者名/発表者名
      加藤徳啓, 中村栄太, 峯恭子, 土江田織江, 山田昌尚
    • 学会等名
      第21回情報科学技術フォーラム(FIT2022)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 定テンポ制約付きCTCに基づく自動ドラム採譜2022

    • 著者名/発表者名
      鎌倉大地, 中村栄太, 吉井和佳
    • 学会等名
      第136回情報処理学会音楽情報科学研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Automatic piano fingering from partially annotated scores using autoregressive neural networks2022

    • 著者名/発表者名
      Pedro Ramoneda, Dasaem Jeong, Eita Nakamura, Xavier Serra, Marius Miron
    • 学会等名
      30th ACM International Conference on Multimedia
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] End-to-end lyrics transcription informed by pitch and onset estimation2022

    • 著者名/発表者名
      Tengyu Deng, Eita Nakamura, Kazuyoshi Yoshii
    • 学会等名
      23rd International Society for Music Information Retrieval Conference
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Tracking the evolution of a band's performances over decades2022

    • 著者名/発表者名
      Florian Thalmann, Eita Nakamura, Kazuyoshi Yoshii
    • 学会等名
      23rd International Society for Music Information Retrieval Conference
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] ジェラール・グリゼイの作曲概念と他分野での表現法の照応2022

    • 著者名/発表者名
      金子仁美
    • 学会等名
      第25回一橋大学「芸術と社会」研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 統計学習を介する文化進化のモデルと音楽・文芸・絵画データにおける共役分布則2021

    • 著者名/発表者名
      中村栄太, 持橋大地, 齋藤康之
    • 学会等名
      第132回情報処理学会音楽情報科学研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] ピアノ採譜のための音価推定と声部分離のマルチタスク学習2021

    • 著者名/発表者名
      平松祐紀, 中村栄太, 吉井和佳
    • 学会等名
      第132回情報処理学会音楽情報科学研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Joint Estimation of Note Values and Voices for Audio-to-Score Piano Transcription2021

    • 著者名/発表者名
      Yuki Hiramatsu, Eita Nakamura, Kazuyoshi Yoshii
    • 学会等名
      22nd International Society for Music Information Retrieval Conference (ISMIR)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [備考] Piano Fingering Dataset (PIG dataset)

    • URL

      https://beam.kisarazu.ac.jp/~saito/research/PianoFingeringDataset/

    • 関連する報告書
      2023 実施状況報告書
  • [備考] Piano Fingering Dataset

    • URL

      https://beam.kisarazu.ac.jp/research/PianoFingeringDataset/

    • 関連する報告書
      2022 実施状況報告書
  • [備考] 中村栄太研究紹介ページ

    • URL

      https://eita-nakamura.github.io/index-ja.html

    • 関連する報告書
      2022 実施状況報告書
  • [備考] PIG dataset

    • URL

      https://beam.kisarazu.ac.jp/research/PianoFingeringDataset/

    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi