人間の行動状況理解のための時空間の非線形圧縮による映像の情報要約機構

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11230205
• Research Institution: Kyoto University
• Principal Investigator: 美濃 導彦 京都大学, 総合情報メディアセンター, 教授 (70166099)
• Co-Investigator(Kenkyū-buntansha): 亀田 能成 京都大学, 総合情報メディアセンター, 助手 (70283637) ; 河原 達也 京都大学, 情報学研究科, 助教授 (00234104) ; 松山 隆司 京都大学, 情報学研究科, 教授 (10109035) ; 東海 彰吾 福井大学, 工学部, 講師 (50283627)
• Keywords: 視覚メディア / 時空間の圧縮 / 分散視覚 / 情報要約 / 講義アーカイブ / 教材制約 / スタジオ撮影 / シナリオ制約

Research Abstract

人間の行動状況を観測した映像を、ユーザの要求に応じて要約する枠組みについて、講義室における教材制約とスタジオにおけるシナリオ制約を利用するための枠組みに関する研究を行った。
講義室を対象とした教材制約による研究においては、ユーザの要求が多様であることを考慮すれば、映像取得時にできるだけ多様な映像を取得しなければならない。そのために、空間的多様性と時間的多様性をいう概念を提案した。空間的多様性はさまざまな位置から同じ3次元空間を撮影するという概念であり、複数台のカメラを独立して制御する。時間的多様性は同じ時間にいろいろなものを撮影するという概念であり、やはり複数台のカメラを制御する。これらの概念に基づいて映像を取得するためのシステムを構築し実験を行った結果、さまざまな映像が取得できること、および、ユーザの要求に応じた要約を作成できる可能性があることが確認できた。
スタジオにおけるシナリオに基づく撮影に関しては、予定した動きと実際の動きが異なる場合にカメラワークを補正する方法について研究を行った。この結果、シナリオ通りに役者が演じている場合は、実演と予め定めたカメラワークが多少ずれていても自動補正処理によりうまく撮影できることが確認できた。
研究会での議論を通して、映像の非線形要約という言葉がよくないことが指摘された。我々が目指しているのは、ユーザに応じたデータの提示であり、要約もその中に含まれてはいるもののそれが重要な概念ではない。今後、何らかの言葉を考えてここでの重要な考え方をアピールしていく必要がある。

Research Products

• [Publications] 美濃導彦: "Imaging a 3D Lecture Room by Interpreting Its Dynamic Situation"Proceedings of The Fourth International Workshop on the Cooperative Distributed Vision. 371-412 (2001)
• [Publications] 亀田能成: "High Speed 3D Reconstruction by Spatio-Temporal Division of Video Image Processing "IEICE Transaction on Information and Systems. Vol.E83-D No.7. 1422-1428 (2000)
• [Publications] 亀田能成: "A Live Video Imaging Method for Capturing Presentation Information in Distance Learning"IEEE International Conference on Multimedia and Expo. Vol.3. 1237-1240 (2000)
• [Publications] 河原達也: "Phonetic Tied-Mixtureモデルを用いた大語彙連続音声認識"電子情報通信学会論文誌. J83-DII. 2517-2525 (2000)
• [Publications] 河原達也: "Flexible mixed-initiative dialogue management using concept-level Confidence measures of speech recognizer output"Proc. Int'l Conf. Computational Linguistics (COLING). 467-473 (2000)
• [Publications] 河原達也: "A new phonetic tied-mixture model for efficient decoding"Proc. IEEE-ICASSP. 1269-1272 (2000)