ジェスチャーからの感性情報抽出と演奏制御

1994 Fiscal Year Annual Research Report

• Project/Area Number: 06212225
• Research Institution: Waseda University
• Principal Investigator: 橋本 周司 早稲田大学, 理工学部, 教授 (60063806)
• Co-Investigator(Kenkyū-buntansha): 松島 俊明 東邦大学, 理学部, 講師 (30190458)
• Keywords: ジェスチャー / 感性情報 / 音楽 / 演奏制御 / 音響生成 / MIDI / 計算機音楽

Research Abstract

過去2年間の研究により、右手による指揮棒の動きおよびデータグローブにより入力される右手の動きによって、音楽演奏を制御するシステムはほぼ完成している。また、発生する音響の音色をジェスチャーのよって実時間で制御する基礎実験を終了している。
本年度の主な成果は以下のとおりである。
1.これまでに開発した音響制御システムを改良し、基本周波数、振幅、倍音の振幅、スペクトル分布などを任意に実時間で指定できる音響発生システムを作成し、ジェスチャーによりこれを制御するシステムを感性させた。
2.FM音源のパラメーターを遺伝的アルゴリズムで最適化する対話型の音色生成システムを作製し、喜び、悲しみ、怒り、嫌悪などを表す音色の音源パラメータの主成分分析を行い、2次元感性空間での関係を調べた。
3.画像処理でのジェスチャー解析を行うと共に、新たに加速度センサーを用いた手振りの自動解析を試み、指揮の動作および音楽演奏における感情表現の自動認識についての知見を得た。
4.ニューラルネットを用いて、ジェスチャーと音響の対応付けを行い、接続係数によってジェスチャーと音響の感性的な意味での変換関係の定式化を試みた。
5.作製したシステムの演奏家および作曲家による評価については、現在予備的な実験を終了し、本格的な実験を計画中である。

Research Products

• [Publications] P.Hartono: "Adaptive Timbre Control Using Gesture" Proceedings of ICMC1994. 151-158 (1994)
• [Publications] W.Inoue: "Adaptive KARAOKE System" Proceedings of ICMC1994. 70-77 (1994)
• [Publications] M.Ueda: "Blind Decomposition of Concurrent Sounds" Proceedings of ICMC1994. 311-318 (1994)
• [Publications] K.Tsuchiya: "A Pixel Voting Method to Recover 3D Object Shape" Proceedings of IAPR MVA'94. 111-114 (1994)
• [Publications] T.Matsushima: "Multi-ocular 3D Vision by Bach Projection Method" Proceedings of ISITA'94. 215-220 (1994)
• [Publications] 堀内靖雄: "伴奏システム" 情報処理. 35. 815-821 (1994)
• [Publications] 大照完: "仮想音楽空間" オーム社, 123 (1994)