| 研究概要 |
異種センサの出力を融合することにより単一のセンサからは得られない機能を工学的に実現しようという研究はセンサフュージョンと呼ばれている。本研究では,センサフュージョンの基礎技術として,動きによるセンサ信号の変化を手がかりに異種センサ出力の対応づけを行う方法を確立することを目的としている。この基礎を確認するため,以下のような実験装置を作成した。
実験装置は視覚を実現するCCDカメラ,聴覚を実現するマイクロフォン,およびこれらの処理装置から構成される。処理装置にはCCDカメラとマイクロフォンの出力を充分な速度で取り込める能力が必要である。マイクロフォンから得られる信号に対応する画像の一部分をウィンドウで選択することが実験の目的である。今回は簡単のため,音声信号にはノイズは無く,一種類の音だけが得られるとした。具体的には,装置の前で手拍子を行ない,良好な結果を得た。
理論的には,まず画像を複数部分に分割し,それぞれの部分に対し格子状にマスクした出力の和をとる空間フィルタを用いた。これにより,対応する部分画像の全体的な変化を定量的に表せる。それぞれの結果をフーリエ変換することにより,対応する画像領域の変化の周期を求めることができた。音声も,画像の取り込み速度に合わせて代表値を求め,これをフーリエ変換することにより周期を求めた。画像と音声の周期が一致する部分を求めることにより,目的とする部分画像を選択できた。
|
