ユーザの身体に寄り添い形状および奏法が変化する楽器のデザイン

研究課題

研究課題/領域番号	22K18142
研究種目	若手研究
配分区分	基金
審査区分	小区分90010:デザイン学関連
研究機関	フェリス女学院大学
研究代表者	中西宣人フェリス女学院大学, 音楽学部, 准教授 (10910060)
研究期間 (年度)	2022-04-01 – 2026-03-31
研究課題ステータス	交付 (2023年度)
配分額 *注記	4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円) 2025年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円) 2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円) 2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円) 2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード	楽器デザイン / デジタル楽器 / 音楽インタフェース / 形状変化 / デジタルファブリケーション
研究開始時の研究の概要	本研究では、音楽演奏に熟達していないユーザの演奏を支援するデジタル楽器を開発することで、音楽的知識や演奏技術に依拠しない音楽表現の可能性を明らかにする。これまで音楽演奏の非熟達者に向けた楽器は多数開発されてきたが、楽器のインタフェース・デザインは開発者やデザイナに委ねられており、楽器の操作に関する知識や技術の習得は避けられなかった。上記現状に対し本研究では、身体動作にあわせて形状および演奏方法が変化することにより演奏を支援するデジタル楽器を開発し、音楽演奏の非熟達者における有効性を検証する。
研究実績の概要	本研究では、音楽演奏に熟達していないユーザの演奏を支援するデジタル楽器を開発することで、音楽的知識や演奏技術に依拠しない音楽表現の可能性を明らかにする。これまで音楽演奏の非熟達者に向けた楽器は多数開発されてきたが、楽器のインタフェース・デザインは開発者やデザイナに委ねられており、楽器の操作に関する知識や技術の習得は避けられなかった。上記現状に対し本研究では、身体動作にあわせて形状および演奏方法が変化することにより演奏を支援するデジタル楽器を開発し、音楽演奏の非熟達者における有効性を検証する。本研究で開発するデジタル楽器は、(1)ジェスチャ認識、(2)形状変形とマッピング変更、(3)演奏という3つの段階を経るため、(1)および(2)の処理および通信等の遅延ができる限り少なくなるよう設計する必要がある。２年度目は、初年度に開発したマイコンによるジェスチャ検出（IMUおよび筋電センサ）、スマートフォンにおけるジェスチャ検出（IMU）システムの楽器化を目標とし、本研究費で導入した3Dプリンタ、レーザーカッターにより、楽器開発に特化したマイコン等を組み合わせ、デジタル楽器の形状変化システムのプロトタイピングに着手した。また、プロトタイプをのシステムの安定性や問題点、改善を進め、楽器システムの試行錯誤を行った。加えて、対外的には本研究の背景部分となる、「ユーザに寄り添い、変化する」デジタル楽器の成り立ちや、デジタル楽器を用いたアクセシビリティ改善のための試みに関する論文として発表した。
現在までの達成度 (区分)	現在までの達成度 (区分) 3: やや遅れている理由本研究では、研究実施期間の4年間において、(1)ジェスチャ認識システム開発・評価、(2)楽器プロトタイプ開発とユーザ評価、改善、発表、(3)改善版の楽器開発、楽器の多角的評価、(4)ウェブ公開、学会発表、論文化、演奏実践という、4段階による研究を計画している。初年度には、当初の計画通り「(1)のジェスチャ認識システム開発・評価」に着手し、機械学習および複数のセンサ（IMU, 筋電センサ等）を組み合わせ、ユーザが演奏に用いたいジェスチャを検出するシステムのプロトタイピングを行い、技術的な仕様および機材選定を進めた。２年度目は、前年度に着手できなかった複数のセンサとアクチュエータを組み込んだインタフェース形状変形システムのプロトタイピングを実施し、「(2)楽器プロトタイプ開発とユーザ評価、改善、発表」の実施を目指した。この中で、ユーザ貸与による評価部分に遅延が発生している。しかし、基本的なシステムの検証や機材選定は概ね完了しており、また研究の背景部分の論文化は実施できており、3年度目には学会での発表等、外部への公開ができる予定である。このため、遅延状況を改善できる見込みである。
今後の研究の推進方策	初年度および２年度目に実施した「(1)ジェスチャ認識システム開発・評価」を「(2)楽器プロトタイプ開発とユーザ評価、改善、発表」の実施内容をもとに、現状遅延しているユーザ評価および対外的な発表を実施しつつ、前年度までの楽器化と改善、本年度の目標である多角的な評価ができるよう研究を進展させたい。また、2024年度後半には、研究成果を国内学会、国際学会で発表し、研究成果の公表を目標とする。