仮想空間上の知能的音楽エージェントのデザインと構成論的研究

Research Project

Project/Area Number	22K00223
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 01070:Theory of art practice-related
Research Institution	Tokyo National University of Fine Arts and Music
Principal Investigator	田中翼東京藝術大学, 音楽学部, 講師 (50837234)
Project Period (FY)	2022-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000) Fiscal Year 2025: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000) Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000) Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Keywords	音楽エージェント / 強化学習 / 3DCG / コースティクス / サウンドデザイン / 楽器の物理モデル / 演奏エージェント / 知的エージェント / ミュージッキング / 人工知能 / 仮想空間 / 物理モデル音源
Outline of Research at the Start	音楽がますますデジタルデータの形で大量に流通し消費される現代において、演奏行為（ミュージッキング）のレベルでは、物理的・身体的な次元が捨象され、ある意味で音楽が退化している恐れがある。他方、AI、ロボティクス、ゲーム、VR等の分野では、仮想的な物理空間上のシミュレーション技術が発展しており、アバターのように仮想的な身体をデザインするような新しい現実感が広がりつつある。そこで本研究では、こうした技術を応用して仮想的な物理空間上に身体をもつ知的音楽エージェントをデザインし、音楽における身体性や発音過程や場所性を構成論的にシミュレートすることを通じて、行為としての音楽の在り方を問い直す。
Outline of Annual Research Achievements	２０２３年度の主な成果としては、知能的エージェントの試作として、池の魚を題材にした３DCG＋サウンド作品の制作・展示発表が挙げられる。この過程で、魚の身体に基づく行動のための深層強化学習モデルを構築し、構成論的にエージェントの振る舞いを観察し報酬設計を行った。また、異なる魚の「性格」をモデルの表現に組み込むことで演出を行い、複数のエージェント間におけるある種のドラマ性を表現する方法論について議論を深めた。水面の光のテクスチャの計算アルゴリズムも実装した。サウンド部分については、現状ではエージェントとは独立の設計であり、今後、統合したエージェントの設計へと研究を進めていく予定である。その他の成果として、フルートを題材にした楽器の物理モデルのための音色コントローラの試作がある。フルートの管の長さや吹き込む息の強さなどのパラメータの異なる音を生成し、その音色を二次元平面上にマップし、音色を視覚的に探索できるようにするプログラムを開発した。これは、現実のフルートでは出せない音も含め、モデルの出力しうる音のバリエーションと限界を知るのに役立ち、今後、音楽エージェントの音の設計に活かすことを意図したものである。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究においてコアとなる、深層強化学習による知的エージェントおよび楽器の物理モデルの実装を行い、実現に至った。前者は作品展示できるクオリティにまで高めることができ、後者については音楽プログラミングのイベントにおいて口頭発表を行った。研究期間の半分が経過した現在、最終目標である音楽行為を創発するエージェントまでは至っていないものの、その少し手前まで進展させることができ、おおむね順調だと考える。
Strategy for Future Research Activity	2023年度までに実現した知的エージェントと音響生成の部分を統合し、音楽行為をいかに創発させるかが今後取り組むべき課題である。エージェントの動きと音の生成とを関連づけ、演奏動作や演奏意図についての考察・分析を行い、音楽エージェントのモデル化と実装を行っていく予定である。