異種感覚での事象の対応つけとそれに基づく知識の獲得

2001 年度 実績報告書

• 研究課題/領域番号: 11308012
• 研究機関: 名古屋大学
• 研究代表者: 大西 昇 名古屋大学, 情報メディア教育センター, 教授 (70185338)
• 研究分担者: 工藤 博章 名古屋大学, 情報メディア教育センター, 助教授 (70283421) ; 山村 毅 愛知県立大学, 情報科学部, 助教授 (00242826) ; 向井 利春 理化学研究所, BMC研究センター, 研究員 (80281632) ; 松本 哲也 名古屋大学, 工学研究科, 助手 (40252275) ; 竹内 義則 名古屋大学, 情報メディア教育センター, 助手 (60324464)
• キーワード: センサーフュージョン / 視覚 / 聴覚 / 群化 / 学習 / 動き / 音 / 動作

研究概要

1)移動物体についての視聴覚事象の対応付け
これまでの研究では,対象物体は環境内でその位置を変えないものとしていた.本年度は,対象物体が環境内を移動する場合における,視聴覚事象の対応付けの方法を考案した.異なる位置で観察される運動が同一運動か否かの判断が必要となる.そのために,時空間不変量を導入した.これは,平面内の運動であれば,観察位置や時刻が異なっても同じ値となる,不変量である.オンセット時刻で,音の短時間スペクトルと画像中の時空間不変量を求める.各オンセットでのスペクトルの類似性と,得られた不変量の類似性から,音源数と運動数が決まる.次に,各音についてのオンセット系列と,各運動についての不変量系列を求める.音と運動の系列の類似性を調べ,高い類似性を示す音と不変量の組を,対応付けされた視聴覚事象として出力する.
開発した手法の妥当性を調べるために,実システムを用いた実環境での実験を行い,提案手法の有効性を確認した.
2)運動を介した視聴覚事象の対応付け
視覚と聴覚で観察される事象の対応付け手法をシステムに実装した.前年度購入したマニピュレータを用いて,運動のパターンと相関の高い,視聴覚事象を抽出し,それらを対応付けできることを,実験で確認した.

研究成果

• [文献書誌] J.Chen 他6名: "Finding the Correspondence of Audio-Visual Events Caused by Multiple Movements"映像情報メディア学会誌. 55・11. 1450-1459 (2001)
• [文献書誌] 玉木 他2名: "対象物体に依存しない領域間の情報に基づいた領域併合"映像情報メディア学会誌. 55・4. 571-582 (2001)
• [文献書誌] J.Chen 他6名: "A Gestalt Approach to Integrate Audio-Visual Events"Proc. of Int. Symp. on Measurement, Analysis and Modeling of Human Functions. 422-427 (2001)
• [文献書誌] Y.Takeuchi 他3名: "Actor Extraction from a Stage using Stereo Camera"Proc. of Visualization, Imaging and Image Processing. 664-669 (2001)
• [文献書誌] 中島 他2名: "感覚運動統合による音源定位ロボットの構築"電子情報通信学会信学技報. NC2001-68. (2001)
• [文献書誌] 陳 他6名: "複数運動で生じた視聴覚事象の対応付け-物体全体が移動する場合-"電子情報通信学会信学技報. HIP2001. (2001)