ジェスチャーからの感性情報抽出と演奏制御

1992 年度 実績報告書

• 研究課題/領域番号: 04236218
• 研究機関: 早稲田大学
• 研究代表者: 橋本 周司 早稲田大学, 理工学部, 助教授 (60063806)
• 研究分担者: 松島 俊明 東邦大学, 理学部, 講師 (30190458) ; 大照 完 早稲田大学, 理工学部, 名誉教授 (00063165)
• キーワード: ジェスチャー / 感性情報 / 音楽 / 演奏制御 / 音響生成 / MIDI

研究概要

本研究の目的は、身体運動の実時間解析結果による楽曲演奏の制御および音響発生制御のシステムを開発し、情緒的な意味で人間が満足できるジェスチャー=音響の変換を実現することである。
本年度は、ジェスチャーの認識とその結果を用いた演奏制御の基礎研究を行い、以下のような成果を得た。
1.データグローブを用いて、5本の指の曲げ形状、掌の傾き、手の位置など、11個のパラメータと、ジェスチャーの意味を結び付ける関数を、数回の学習で作成し、ジェスチャーの実時間認識を可能にすることに成功した。この認識関数の生成には統計操作を用いているため、ある程度曖昧な動作の認識もできる。
2.既存の楽器の演奏ジェスチャーを認識して、MIDI音源のパラメータを制御することにより、仮想的に楽器演奏を行うシステムを作成した。このシステムの音程・テンポの入力は楽譜データでもよいが、音声による実時間入力も可能である。また、特定の楽器を指定した場合は和音の発生制御も可能である。
3.音響=動作の間を感性的に"納得のゆく"ように結び付けるインターフェースの実現を目的とした基礎研究を行った。ここで、音響生成のパラメータとジェスチャーのパラメータの関係設定には、ニューラルネットワークを用いているため、対応に柔軟性を持たせることができた。

研究成果

• [文献書誌] A.Sato S.Hashimoto S.Ohteru: "Virtual Singer and Virtual Band for Computer Music Performarce" Proc.of International Sympodium on Mudical Acaustics. 83-86 (1992)
• [文献書誌] T.Harada,A.sato S.Hashimoto,S.Ohteru: "Real Time Control of 3D Sound Space by Gesture" Proc.of International Computer Music Conterence. 85-88 (1992)
• [文献書誌] 大照 完,橋本 周司: "仮想空間の音楽" 機械学会誌. 95. 30-34 (1992)
• [文献書誌] 橋本 周司,大照 完: "人工現実感と感性・芸術" 日本ロボット学会誌. 10. 861-865 (1992)
• [文献書誌] 佐藤 明男,橋本 周司,大照 完: "ジェスチャーによる感性的演奏制御" 電子情報通信学会ヒューマンコミュニレーション研究会資料. HC92. (1993)
• [文献書誌] T.Matsushima: "Computeriged Japanese Traditional Music Processeing System" Proc.of International Computer Music Conference. 121-124 (1992)