• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Feature extraction of performance expressions for keyboard instruments and construction of an educational visualization system

Research Project

Project/Area Number 17K18158
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field Entertainment and game informatics 1
Education on school subjects and activities
Research InstitutionNihon University

Principal Investigator

MITO Yuki  日本大学, 芸術学部, 教授 (10451303)

Project Period (FY) 2017-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2019: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2018: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2017: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Keywordsモーションキャプチャ / 動作解析 / 演奏動作 / 鍵盤楽器 / グランドピアノ / チェンバロ / 電子ピアノ / 教育用可視化システム / 可視化システム / 感情価 / 演奏支援 / 教育支援システム
Outline of Final Research Achievements

The purpose of this study was to elucidate the relationship between emotions and movements during music performances. Therefore, to present the emotion expression method in music performance more clearly, the performance movement of the keyboard instrument player was measured using motion capture, and data were accumulated and analyzed. Furthermore, the goal of this study was to develop a graphical presentation system for performance education. Consequently, I was able to measure the performance movements of over 30 musicians using the motion capture system. From the data, I extracted performance expression characteristics and analyzed the correlation between emotions and movement. Furthermore, based on this data, I developed a graphical visualization system for performance education.

Academic Significance and Societal Importance of the Research Achievements

音楽の演奏における感情表現は、演奏において重要なポイントのひとつである。しかし、この感情表現の方法は、教師の「感覚」によりレクチャーされている。ある程度の実力をもつ演奏家であれば、この「感覚」が理解できるであろう。しかし、教育現場において研鑽過程の演奏家では、この「感覚」を理解できないことが少なからず生じている。また、教師により、レクチャーの意図が異なる場合もある。そこで、本研究で開発した教育用可視化システムを実際のレッスンで用いることにより、研鑽過程の学生にも、わかりやすく、具体的かつ正確に教示することができるであろう。このような研究は未だないことから社会的意義が大きいと考える。

Report

(7 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (43 results)

All 2023 2022 2021 2020 2019 2018 2017

All Journal Article (2 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (39 results) (of which Int'l Joint Research: 7 results,  Invited: 2 results) Book (2 results)

  • [Journal Article] モーションキャプチャを用いた演奏動作計測2021

    • Author(s)
      三戸勇気
    • Journal Title

      日本音響学会誌

      Volume: 77 Pages: 580-586

    • NAID

      130008095432

    • Related Report
      2021 Research-status Report
  • [Journal Article] 音楽演奏における音のデザインの可能性2018

    • Author(s)
      三戸勇気
    • Journal Title

      日本音響学会誌

      Volume: 74巻11号 Pages: 613-617

    • NAID

      130007641032

    • Related Report
      2018 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] モーションキャプチャを用いた複数のチェンバロ奏者の演奏動作解析2023

    • Author(s)
      三戸 勇気,松崎 桃子,山口 達也,駒澤 大介,川上 央,三浦 雅展,篠田 之孝
    • Organizer
      日本音響学会
    • Related Report
      2022 Annual Research Report
  • [Presentation] モーションキャプチャを用いた楽器演奏における感情表現と動作の関連について2022

    • Author(s)
      三戸 勇気,松崎 桃子,山口 達也,駒澤 大介,川上 央,三浦 雅展,篠田 之孝
    • Organizer
      日本音響学会
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] モーションキャプチャシステムを用いた指揮者の動作計測の基礎実験2022

    • Author(s)
      塚田湧太, 柴田直樹, 三戸勇気, 吉田行地, 駒沢大介, 川上央, 吉川海輝, 山口達也, 篠田之孝
    • Organizer
      日本大学理工学部学術講演会
    • Related Report
      2022 Annual Research Report
  • [Presentation] モーションキャプチャと床反力計を用いた指揮動作の基礎的検討2022

    • Author(s)
      柴田直樹, 塚田湧太, 三戸勇気, 吉田行地, 駒沢大介, 川上央, 吉川海輝, 山口達也, 篠田之孝
    • Organizer
      日本大学理工学部学術講演会
    • Related Report
      2022 Annual Research Report
  • [Presentation] モーションキャプチャを用いた感情表現によるピアニストの演奏動作解析の検討2022

    • Author(s)
      奈宮史典, 山口達也, 三戸勇気, 川上央, 篠田之孝
    • Organizer
      日本大学理工学部学術講演会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 光学式モーションキャプチャを用いた指揮動作の教育支援システムの検討2022

    • Author(s)
      塚田湧太, 柴田直樹, 山口達也, 三戸勇気, 吉田行地, 駒沢大介, 川上央, 篠田之孝
    • Organizer
      電気学会
    • Related Report
      2022 Annual Research Report
  • [Presentation] モーションキャプチャと床反力計を用いた指揮動作計測の基礎実験2022

    • Author(s)
      柴田直樹, 塚田湧太, 山口達也, 三戸勇気, 吉田行地, 駒沢大介, 川上央, 篠田之孝
    • Organizer
      電気学会
    • Related Report
      2022 Annual Research Report
  • [Presentation] モーションキャプチャを用いたグランドピアノの演奏動作解析の検討2021

    • Author(s)
      奈宮史典,山口達也,三戸勇気,川上央,篠田之孝
    • Organizer
      第38回センシングフォーラム
    • Related Report
      2021 Research-status Report
  • [Presentation] モーションキャプチャを用いた感情表現による複数のピアニストの演奏動作解析2021

    • Author(s)
      三戸 勇気,奈宮 史典,山口 達也, 川上 央,駒澤 大介,三浦 雅展,篠田 之孝
    • Organizer
      日本音響学会2021年秋季研究発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] 鍵盤楽器のピアニストの感情表現による演奏動作解析の検討2021

    • Author(s)
      奈宮史典,山口達也,三戸勇気,川上央,篠田之孝
    • Organizer
      電気学会A部門大会
    • Related Report
      2021 Research-status Report
  • [Presentation] グランドピアノ演奏における感情表現と身体部位の軌跡長の関連について2020

    • Author(s)
      三戸勇気,幸田優志,川上央,駒澤大介,三浦雅展,山口達也,篠田之孝
    • Organizer
      日本音響学会
    • Related Report
      2020 Research-status Report
  • [Presentation] 映画のシーンごとの音楽の要素と感情の分析2020

    • Author(s)
      舩越美奈代,駒澤大介,三戸勇気,川上央,岩宮眞一郎
    • Organizer
      日本音響学会音楽音響研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] モーションキャプチャを用いた鍵盤演奏動作の 教育用可視化システムの検討2020

    • Author(s)
      三戸勇気,幸田優志,川上央,駒澤大介,三浦雅展,山口達也,篠田之孝
    • Organizer
      日本音響学会
    • Related Report
      2020 Research-status Report
  • [Presentation] 演奏動作の軌跡長による鍵盤楽器と感情価の関連について2020

    • Author(s)
      三戸勇気,川上 央,駒澤 大介,三浦 雅展,松崎 桃子,山口 達也,篠田 之孝
    • Organizer
      日本音響学会2020春季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] ジェスチャインターフェースを使った VR コンテンツの音の生成2020

    • Author(s)
      金重源, 三戸勇気, 駒澤大介, 川上央
    • Organizer
      日本音響学会2020春季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] モーションキャプチャを用いた鍵盤楽器の感情表現による演奏動作解析の検討2020

    • Author(s)
      松崎桃子,山口達也,三戸勇気,川上央,篠田之孝
    • Organizer
      令和2年電気学会全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] モーションキャプチャを用いた異なる鍵盤楽器の感情価による演奏動作解析の検討2019

    • Author(s)
      松崎桃子,山口達也,三戸勇気,川上央,篠田之孝
    • Organizer
      電気学会・光応用・視覚研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] モーションキャプチャを用いた異なる鍵盤楽器の感情価による演奏動作解析の検討2019

    • Author(s)
      松崎桃子,山口達也,三戸勇気,川上央,篠田之孝
    • Organizer
      令和元年度日本大学理工学部学術講演会
    • Related Report
      2019 Research-status Report
  • [Presentation] デジタル競技カルタ「万葉ハッカソン」の音2019

    • Author(s)
      川上央, 三戸勇気, 駒澤大介, 梶川信行
    • Organizer
      日本音響学会2019秋季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] 異なる鍵盤楽器に対する演奏動作の解析2019

    • Author(s)
      三戸勇気, 川上央, 駒澤大介, 三浦雅展, 松崎桃子, 山口達也, 篠田之孝
    • Organizer
      日本音響学会2019秋季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] 光学式モーションキャプチャを用いた鍵盤楽器の演奏動作の解析の検討2019

    • Author(s)
      松崎桃子,山口達也,三戸勇気,川上央,篠田之孝
    • Organizer
      第36回センシングフォーラム
    • Related Report
      2019 Research-status Report
  • [Presentation] How to Play Ritardando?: Factor analysis for impression to the piece of “Pomp and Circumstance”2019

    • Author(s)
      Madoka Okemoto, Masanobu Miura, Yuki Mito, Hiroshi Kawakami
    • Organizer
      International Symposium on Performance Science(ISPS2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Brass Ensemble Study2019

    • Author(s)
      Kyoko Takeda, Hiroshi Kawakami,Yuuki Mito
    • Organizer
      International Symposium on Performance Science(ISPS2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Educational visualization system of Nihon Buyo by 3DCG using motion capture2019

    • Author(s)
      Yukitaka Shinoda, Yuki Kubota, Yuki Mito,Reishi Watanuma, Toru Ozawa,Mieko Marumo
    • Organizer
      International Symposium on Performance Science(ISPS2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Relationship between motion and emotional value of head of Chinese pipa.2019

    • Author(s)
      Hiroshi KAWAKAMI, Cong TIAN, Yuki MITO, Daisuke KOMAZAWA, Kyoko TAKEDA
    • Organizer
      International Symposium on Performance Science(ISPS2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Difference in the performance motion by several keyboard instruments2019

    • Author(s)
      Yuki MITO, Hiroshi KAWAKAMI, Masanobu MIURA, Kazuma Koga,Yukitaka SHINODA
    • Organizer
      International Symposium on Performance Science(ISPS2019)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] リタルダンドの印象における音楽経験の影響2019

    • Author(s)
      桶本まどか, 三浦雅展, 嶋脇秀隆, 三戸勇気, 川上央
    • Organizer
      日本音楽知覚認知学会春季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] リタルダンドにおける時間遅延量の形状とその印象の関係2019

    • Author(s)
      桶本まどか,三浦雅展,三戸勇気,川上央
    • Organizer
      日本音響学会
    • Related Report
      2018 Research-status Report
  • [Presentation] チェンバロの演奏動作の基礎的分析2018

    • Author(s)
      三戸勇気,川上央,三浦雅展,幸田優志,篠田之孝
    • Organizer
      日本音響学会
    • Related Report
      2018 Research-status Report
  • [Presentation] 映像作品における音の要素の違いによる視線追従の変化について2018

    • Author(s)
      余宮魁登,三戸勇気, 川上央
    • Organizer
      日本音響学会
    • Related Report
      2018 Research-status Report
  • [Presentation] モーションキャプチャを用いた鍵盤楽器の感情価による演奏動作解析の検討2018

    • Author(s)
      幸田優志,三戸勇気,川上央,三浦雅展,篠田之孝
    • Organizer
      電気学会
    • Related Report
      2018 Research-status Report
  • [Presentation] Comparison of emotion by Chinese pipa performance motion2018

    • Author(s)
      TIAN CONG, YUKI MITO, YUKITAKA SHINODA, MASANOBU MIURA and HIROSHI KAWAKAMI
    • Organizer
      ICMPC15/ESCOM10
    • Related Report
      2018 Research-status Report
  • [Presentation] 演奏モーションから音楽感情を抽出するための データ処理についての検討2018

    • Author(s)
      田葱,古賀一眞,三戸勇気,篠田之孝,川上央
    • Organizer
      日本音響学会2018春季研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] Relationship between performance motion of the grand piano and pianist by each emotion2017

    • Author(s)
      Yuki Mito, Hiroshi Kawakami,Masanobu Miura and Yukitaka Shinoda
    • Organizer
      The Asia-Pacific Society for the Cognitive Sciences of Music 6
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] RUDIMENTARY STUDY OF ASSOCIATION BETWEEN THE MOTION AND EMOTION BY THE CHINESE PIPA PERFORMANCE.2017

    • Author(s)
      Yuki Mito, Hiroshi Kawakami,Masanobu Miura and Yukitaka Shinoda
    • Organizer
      International Symposium on Performance Science 2017
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 演奏音をデザインする-感情・動作・音2017

    • Author(s)
      三戸勇気,川上央,三浦雅展,篠田之孝
    • Organizer
      日本音響学会2017年秋季研究発表会
    • Related Report
      2017 Research-status Report
    • Invited
  • [Presentation] 楽器演奏時の感情と演奏動作の関係-クラシック・ギター-2017

    • Author(s)
      田葱,三戸勇気,篠田之孝,川上央
    • Organizer
      日本音楽知覚認知学会秋季研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] 鍵盤楽器の感情価の違いによる演奏動作の可視化システム2017

    • Author(s)
      古賀一眞、三戸勇気、川上 央、三浦雅展、篠田之孝
    • Organizer
      電気学会A部門大会
    • Related Report
      2017 Research-status Report
  • [Presentation] モーションキャプチャを用いた日本舞踊の3DCGによる可視化の基礎的検討2017

    • Author(s)
      久保田祐貴、篠田之孝、三戸勇気、渡沼玲史、小沢 徹、丸茂美惠子
    • Organizer
      電気学会A部門大会
    • Related Report
      2017 Research-status Report
  • [Book] 飛鳥新社2021

    • Author(s)
      八島 隆敏
    • Total Pages
      125
    • Publisher
      聴力リセット
    • Related Report
      2021 Research-status Report
  • [Book] 音楽知覚認知ハンドブック: 音楽の不思議の解明に挑む科学2020

    • Author(s)
      大串 健吾 (監修), 桑野 園子 (監修), 難波 精一郎 (監修), 小川容子 (編集), 谷口高士 (編集), & 4 その他
    • Total Pages
      389
    • Publisher
      北大路書房
    • ISBN
      9784762830990
    • Related Report
      2019 Research-status Report

URL: 

Published: 2017-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi