Musical Instrument Classification for Musical Note Sequences Implicitly Utilizing Knowledge of Audio Signals

• Project/Area Number: 24K20798
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Tokyo University of Science
• Principal Investigator: 澤田 隼 東京理科大学, 創域理工学部情報計算科学科, 助教 (50909330)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2026: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
• Keywords: 楽器分類 / 音楽情報処理 / 知識蒸留 / 転移学習 / マルチモーダル学習

Outline of Research at the Start

音楽情報処理の分野では信号処理と記号処理を組み合わせた研究が注目されている．マルチモーダルに信号と記号を入力する研究はされているが，これらは推論時に音響信号と記号の両方を用意する必要がある．本研究では音響信号を入力とした楽器分類モデルから音符列（記号）を入力する楽器分類モデルへの知識蒸留を用いて，音響信号から抽出され得る楽器に関する知識が暗黙的に反映された高度な楽器分類モデルの構築を行う．これにより人間が知識をモデルに入力することなく記号のみを入力とする高度な創作支援システムが実現可能になり，そのシステムの有効性の検証を通して知識蒸留を用いた楽器分類モデルの有効性を検証する．