| 研究課題/領域番号 |
16360205
|
|---|
| 研究種目 |
基盤研究(B)
|
| 研究機関 | 広島大学 |
|---|
研究代表者 |
石井 抱 広島大学, 大学院・工学研究科, 助教授 (40282686)
|
|---|
| 研究分担者 |
金子 真 広島大学, 大学院・工学研究科, 教授 (70224607)
東森 充 広島大学, 大学院・工学研究科, 助手 (30346522)
|
|---|
| キーワード | 高速視覚 / Visual Auditorization / 振動ダイナミクス / 音声合成 / 視聴覚統合処理 / 画素レベル音源定位 / ドップラーシフト / 音源計測 |
|---|
| 研究概要 |
本研究では,研究代表者が有する高速視覚の研究実績を基に、視覚情報と聴覚情報の時間周波数帯域を人間の可聴域(20Hzから20kHz程度)レベルに整合させ、信号レベルでの視覚情報と聴覚情報を統合するダイナミック視聴覚統合理論を構築し、その有効性をアルゴリズム及びシステムの両面から検証することを目的とする。
平成16年度は、A)視覚情報からの振動ダイナミクス情報を音声変換するVA(Visual Auditorization)信号処理、B)音声情報と視覚情報からの共通振動ダイナミクス抽出に基づく画素レベル音源定位、C)高速視覚を用いた実時間ダイナミック視聴覚統合システムの構築の研究を行い、実際に高速視覚システムを用いた動作検証を行った。具体的には以下の手順で研究を進めた。
A.1)ウェーブフォームジェネレータからの波形に基づき振動加振器の動作を確認した。
2)高速ビデオカメラによる振動加振器による振動させたギターなどの弦振動を撮影をした。
3)弦の複数位置における振動分布計算及び振動ダイナミクス推定を行った。
4)高速ビデオ画像から音声情報を強調・合成するシステムを開発した。
B.1)高速ビデオカメラによる撮影およびマイクロフォンによる集音実験を行った。
2)高速視覚画像の全画素に対する輝度時間変化のFFT計算及び音声情報のFFT計算を行った。
3)画像情報と音声情報の時間周波数空間の整合性を表す特徴量を定義付けた。
4)共通振動ダイナミクスが画素レベルで記述される視聴覚統合画像の表示計算を行った。
5)画像処理による、画像空間での音源領域分離及びそれぞれの領域に対する音声合成を行った
C.1)振動計測用の実時間高速視覚システムを導入し、可聴域での実時問振動計測を確認した。
2)高速視覚の画像特性を用いた振動追跡アルゴリズムを開発し動作確認した。
3)振動加震器などにより発生させた音源振動に対して、音声情報が合成できることを確認した。
4)システムが連動して動作することを高速視覚画像から音声情報への実時間VAができることを確認した。
5)高速視覚画像と音声情報と視聴覚統合処理の基本的な実時間動作を確認した。
|
