多数の同期ビデオ映像からの3次元動作情報の取得と時空間データベースの構成

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14580366
• Research Institution: YOKOHAMA NATIONAL UNIVERSITY
• Principal Investigator: 有澤 博 横浜国立大学, 大学院・環境情報研究院, 教授 (10092636)
• Co-Investigator(Kenkyū-buntansha): 富井 尚志 横浜国立大学, 大学院・環境情報研究院, 講師 (40313473)
• Keywords: マルチメディアデータベース / 映像データベース / ビデオ解析 / 広域モーションキャプチャ / 被写体検出 / 3次元オブジェクトモデル / コンピュータグラフィックス / 画像マッチング

Research Abstract

本研究では、CCDビデオカメラを被写体の周囲に配置し、同期して撮影された別々の複数のビデオ・フレーム列をネットワーク経由で収集し、そこで被写体位置に関する大雑把な実時間解析を行うと同時に時区間クラスタリングを行って、あらかじめ定義されたスキーマに沿ってデータベースに蓄積する、という3次元動作データベースの基礎技術を確立することを目的としている。2年間にわたり、サッカーやバスケットボール等、複数の選手が自立協調的に動くスポーツを対象とし、選手の姿勢・動作の解析や、集団(協調)動作における戦略の解析など、多くの実際的な情報の収集方法を検討し実験を行った。ネットワーク基盤としては、ギガイーサネットを用いて、離れた建物にある並列計算機システムに複数カメラのビデオストリームを集約し、その上で同一時点のフレーム群に対して被写体検出と対応点検出を数秒程度の時間遅れで行う手法を開発した。この際に純粋な画像処理的な手法だけでなく、被写体についての知識(被写体が人間であるならば、簡素化した人体の3次元グラフィックモデル)を用いて画像マッチングをとることにより探索時間の減少と精度の向上を図る手法も開発し、その有効性を検討した。
申請者らが既に開発している関数型マルチメディアデータベースエンジンを用い、以上の取得データ及び解析データに適合するスキーマ設計を行った。特に各ビデオカメラから送られる生データと、解析データ(3次元オブジェクトの位置情報)とが対応がとれて蓄積されることに留意した。従来のデータベースではイメージ列のような大容量データのリアルタイムローディングには適応しないと言う問題があったが、データ落ちが無くスキーマに沿って蓄積する手法を開発した。
以上の手法の有効性を検証するため、現在開発中の「画像蓄積型広域モーションキャプチャのビデオフレーム列およびカメラパラメータ時系列をデータベースに蓄積し、姿勢動作解析に適用して問題なく動くことを確認した。

Research Products

• [Publications] 坂木和則, 横田健一郎, 大野啓司, 鈴木康平, 有澤博: "多視点テレビ放送を用いた映像内のオブジェクト位置の認識と追跡"電子情報通信学会論文誌. No.2,Vol.J87-D-11. 175-187 (2003)
• [Publications] 家富誠敏, 有澤 博: "設計意図を表現可能なデータベース設計手法とその設計支援ツール"日本データベース学会DBSJ Letters. No.1,Vol.2. 127-130 (2003)
• [Publications] 大木 康幸, 有澤 博: "ユビキタス環境における情報変化過程のトレーサビリティのためのデータベースモデル"第15回データ工学ワークショップ(DEWS2004). (2004)
• [Publications] 遠藤 智絵, 橋本 麗, 荒井 淳, 有澤 博, 鈴木 晶子, 井上 登美夫: "PET画像を用いたガン自動診断システムのための医学データベース構築"第15回データ工学ワークショップ(DEWS2004). (2004)
• [Publications] 家富 誠敏, 有澤 博: "スキーマ設計履歴を用いた設計オーサリングツール"第15回データ工学ワークショップ(DEWS2004). (2004)
• [Publications] 西岡秀一, 高田智規, 山本隆二, 阿部剛仁, 川村春美, 大村弘之, 有澤博: "ライセンス情報の統合管理方式に関する一手法"夏のデータベースワークショップ(DBWS2003). (2003)
• [Publications] 佐藤貴子, 昌川泰鎬, 上島崇宏, 有澤博: "詳細人体モデルを用いた動作評価機構付きデータベースシステムの基本設計"夏のデータベースワークショップ(DBWS2003). (2003)
• [Publications] 佐藤貴子, 上島崇宏, 昌川泰鎬, 有澤博: "個人カスタマイズ機能付き電子医学書データベースの基本設計"メディア工学研究会. (2003)
• [Publications] 橋本麗, 荒井淳, 有澤博, 田村直良, 鈴木昌子, 井上登美夫: "PET画像を用いた癌検診のための自動診断システム-医学知識のルール化-"厚生労働科学研究費補助金班会議研究集会. (2003)
• [Publications] 橋本麗, 荒井淳, 有澤博, 田村直良, 鈴木昌子, 井上登美夫: "PET画像を用いたガン自動診断システムにおける医学知識のルール化"データ工学研究会. (2003)
• [Publications] 根本明宜, 大野啓司, 坂木和則, 有澤博: "動作解析の現状拡域モーションキャプチャの位置づけ"医学情報システム研究会MIPS2003. (2003)
• [Publications] 佐藤貴子, 上島崇宏, 昌川泰鎬, 有澤博, 根本明宜: "人体動作シミュレーションのための人体形状動作情報の形式化"医学情報システム研究会MIPS2003. (2003)
• [Publications] 橋本麗, 荒井淳, 有澤博, 田村直良, 鈴木昌子, 井上登美夫: "PET画像を用いた癌自動診断システムのための医学知識のルール化"医学情報システム研究会MIPS2003. (2003)
• [Publications] 坂木 和則, 有澤 博: "モデル知識を用いた遺伝的アルゴリズムによる人間の姿勢推定"情報科学技術フォーラム2002(FIT2002). 第3分冊. 45-46 (2002)
• [Publications] Hiroshi Arisawa, Takashi Tomii: "Mediator-based Modeling of Real World's Objects and their Motions"Kambayashi et al. Eds., Nontraditional Database Systems, Taylor and Francis. 93-113 (2002)
• [Publications] Sayaka Imai, Takashi Tomii, Hiroshi Arisawa: "Motion Simulation of the Human Workers for the Integrated Computer-Aided Manufacturing Process Simulation Based on Info-Ergonomics Concept"Arisawa et al. Eds., LNCS2465,Springer. 105-114 (2002)
• [Publications] Hiroshi Arisawa, Takako Sato, Takashi Tomii: "Human-Body Motion Simulation Using Bone-Based human Model and Construction of Motion Database"Arisawa et al. Eds., LNCS2465,Springer. 115-126 (2002)
• [Publications] Kazunori Sakaki, Takako Sato, Hiroshi Arisawa: "MOTION AND POSTURE DETECTION BY MULTI-PERSPECTIVE VIDEO CAMERAS AND LOAD ANALYSIS ON THE PRECISE HUMAN MOCK-UP"The 5th International Conference on Design of Information Infrastructure Systems for Manufacturing 2002(DIISM2002). 357-367 (2002)
• [Publications] 坂木 和則, 佐川 直嗣, 有澤 博: "広域テレビ映像を用いたオブジェクト位置の認識と追跡"データベースとWeb情報システムに関するシンポジウム(DBWeb2002)論文集. 323-330 (2002)
• [Publications] 家富 誠敏, 有澤 博: "設計図と表現可能なデータベース設計手法とその設計支援ツール"第14回データ工学ワークショップ(DEWS2003)論文集. (2003)
• [Publications] Kazunori Sakaki, Takako Sato, Hiroshi Arisawa: "MODEL-BASED MOTION ANALYSIS OF FACTORY WORKERS USING MULTI PERSPECTIVE VIDEO CAMERAS, to appear in ENGINEERING"KLUWER Publisher Inc.. (2003)