ユーザの身体に寄り添い形状および奏法が変化する楽器のデザイン

• Project/Area Number: 22K18142
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 90010:Design-related
• Research Institution: Ferris University
• Principal Investigator: 中西 宣人 フェリス女学院大学, 音楽学部, 准教授 (10910060)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 楽器デザイン / デジタル楽器 / 音楽インタフェース / 形状変化 / デジタルファブリケーション

Outline of Research at the Start

本研究では、音楽演奏に熟達していないユーザの演奏を支援するデジタル楽器を開発することで、音楽的知識や演奏技術に依拠しない音楽表現の可能性を明らかにする。
これまで音楽演奏の非熟達者に向けた楽器は多数開発されてきたが、楽器のインタフェース・デザインは開発者やデザイナに委ねられており、楽器の操作に関する知識や技術の習得は避けられなかった。
上記現状に対し本研究では、身体動作にあわせて形状および演奏方法が変化することにより演奏を支援するデジタル楽器を開発し、音楽演奏の非熟達者における有効性を検証する。

Outline of Annual Research Achievements

本研究では、音楽演奏に熟達していないユーザの演奏を支援するデジタル楽器を開発することで、音楽的知識や演奏技術に依拠しない音楽表現の可能性を明らかにする。
これまで音楽演奏の非熟達者に向けた楽器は多数開発されてきたが、楽器のインタフェース・デザインは開発者やデザイナに委ねられており、楽器の操作に関する知識や技術の習得は避けられなかった。上記現状に対し本研究では、身体動作にあわせて形状および演奏方法が変化することにより演奏を支援するデジタル楽器を開発し、音楽演奏の非熟達者における有効性を検証する。
2022年度は、機械学習および複数のセンサを組み合わせ、ユーザが演奏に用いたいジェスチャを検出するシステムのプロトタイピングを行った。加えて、楽器開発のための技術的要件の整理や、最適な各種実装プラットフォーム（マイクロコンピュータおよびスマートフォン）の検討・検証を進めた。
本研究で開発するデジタル楽器は、(1)ジェスチャ認識、(2)形状変形とマッピング変更、(3)演奏という3つの段階を経るため、(1)および(2)の処理および通信等の遅延ができる限り少なくなるよう設計する必要がある。そこで本研究では研究の初段階として、エッジAI用シングルボードコンピュータにおけるジェスチャ検出（IMUおよび筋電センサ）、スマートフォンにおけるジェスチャ検出（IMU）という2つの側面から最適なシステム構成を検証し、プロトタイピングを行った。
対外的には都内で開催された国際会議において、多様な身体をもつ人々がともに楽器を作り上げるワークショップのディレクターを担当し、本研究における「身体」の捉え方に関するフィールドワーク調査を実施した。また、上記ジェスチャ検出を応用したウェブアプリケーションを実装し、ワークショップにて参加者にソフトウェアを提供し、ソフトウェアの安定性の検証を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究では、研究実施期間の4年間において、(1)ジェスチャ認識システム開発・評価、(2)楽器プロトタイプ開発とユーザ評価、改善、発表、(3)改善版の楽器開発、楽器の多角的評価、(4)ウェブ公開、学会発表、論文化、演奏実践という、4段階による研究を計画している。
初年度にあたる2022年度は、当初の計画通り「(1)のジェスチャ認識システム開発・評価」に着手し、機械学習および複数のセンサ（IMU, 筋電センサ等）を組み合わせ、ユーザが演奏に用いたいジェスチャを検出するシステムのプロトタイピングを行い、技術的な仕様および機材選定を進めた。
この中で、特にジェスチャ検出システムの検証と実装、楽器インタフェースとしての評価に想定以上に時間がかかり、現状は複数のセンサとアクチュエータを組み込んだインタフェース形状変形システムのプロトタイピングが遅延している。しかし、基本的なシステムの検証や機材選定は概ね完了しており、2年度目に進行状況は改善できる見込みである。

Strategy for Future Research Activity

2023年度の前半では、初年度に着手した「(1)ジェスチャ認識システム開発・評価」を背景に、現在遅延しているインタフェース形状変形システムの開発を進める。現状の課題である、楽器インタフェースとして利用可能な低遅延の(1)ジェスチャ認識、(2)形状変形とマッピング変更システムの構築を最優先で進行させたい。
また、本研究の2年度目は「(2)楽器プロトタイプ開発とユーザ評価、改善、発表」であり、楽器プロトタイプ開発に着手し、楽器としてユーザに提供できる段階に発展させる予定である。また、2023年度後半には、特定のユーザへの貸与によって、システムの安定性や問題点や改善点を明らかにする。中間研究成果を国内学会や展示等で発表し、改善のための議論を行う予定である。