複数観測ステーションからの観測データ因果関係に基づく広域活動認識

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14780277
• Research Institution: University of Tsukuba
• Principal Investigator: 亀田 能成 筑波大学, 機能工学系, 講師 (70283637)
• Keywords: センサフュージョン / マルチカメラ / マイクロフォンアレイ / 画像認識 / 自動撮影 / 因果関係解析

Research Abstract

本年度は、因果関係に基づく広域観測下での活動認識の理論基礎を構築し、様々なシチュエーションを想定して実験及び検証を行い、研究発表も行った。
まず、マルチモーダルなセンサによる認識の取り組みとして、超音波センサ、マイクロフォンアレイの設置及びそれらに基づく観測データ生成と伝送を行う観測ステーションの設計・開発を行い、特に講義室空間で講義が行われているシチュエーションのもと、如何にして授業の状態を認識するかについて研究した。他の先行研究と異なり、我々が実験を行った講義空間は150人程度が着席できる大きなスペースでる。そのような広い場所でも,10台近い画像センサと超音波センサアレイ、8つのマイクロフォンからなるマイクロフォンアレイを用いて、人の活動を認識することに成功した。実際のアプリケーション例として自動撮影を取り上げ、実用に供することすらできるシネテムも構築し、これについては現在、大学の講義を実際に収録してさらなる評価実験を行っている。
また、画像センサーの一種類だけではあるが、20台のカメラを密配置し、対象空間中の物体の運動・形状とカメラ配置による計測精度の関係について研究を行い、その結果、多数センサの協調動作について一定の研究成果を上げた。
一方、因果関係を自動的に記述する取り組みから、自動撮影を例に取り上げ、人物が室内を自由に歩行している環境下で、複数首振りカメラの映像切り替えに基づく固定撮影を実現する手法を提案した。固定撮影の場合、それぞれの首振りカメラの方向・ズーム値が一つの記述であり、連続して固定撮影を続けるためには、ある記述が別の記述にどのような因果関係を及ぼすかを解析することが必須となる。本研究では、因果関係を状態遷移で表現し、その状態遷移図をこれまでの人物の運動軌跡から自動的に学習する枠組みを発明した。

Research Products

• [Publications] Satoshi NISHIGUCHI, Kazuhide HIGASHI, Yoshinari KAMEDA, Michihiko MINOH: "A Sensor-fusion Method of Detecting A Speaking Student"IEEE Int.Conf.on Multimedia and Expo(ICME2003). 2. 677-680 (2003)
• [Publications] Yoshinari KAMEDA, Satoshi NISHIGUCHI, Michihiko MINOH: "CARMUL : Concurrent Automatic Recording for Multimedia Lecture"IEEE Int.Conf.on Multimedia and Expo(ICME2003). 1. 129-132 (2003)
• [Publications] Murakami, M., Nishiguchi, S., Kameda, Y., Minoh, M.: "Effect on Lecturer and Students by Multimedia Lecture Archive System"4th Int.Conf.on Information Technology Based Higher Education and Training(ITHET2003). 377-380 (2003)
• [Publications] 亀田 能成, 新 康孝, 西口 敏司, 美濃 導彦: "撮影対象の運動履歴に基づく固定ショット切り替え式撮影法"電子情報通信学会 技術研究報告MVE. Vol.103,No.209. 1-6 (2003)
• [Publications] IIYAMA Masaaki, KAMEDA Yoshinari, MINOH Michihiko: "4pi Measurement System : A Complete Volume Reconstruction System for Freely-moving Objects"IEEE Conf.on Multisensor Fusion and Integration for Intelligent Systems(MFI2003). 119-124 (2003)
• [Publications] Tomasz M.Rutkowski, Masahiro Yokoo, Keisuke Yagi, Yoshinari Kameda, Koh Kakusho, Michihiko Minoh, Danilo P.Mandic: "Identification and Tracking of Active Speaker's Position in Noisy Environments"Eighth International Workshop on Acoustic Echo and Noise Control. 283-286 (2003)