人間の行動状況理解のための時空間の非線形圧縮による映像の情報要約機構

1999 Fiscal Year Annual Research Report

• Project/Area Number: 11230205
• Research Institution: Kyoto University
• Principal Investigator: 美濃 導彦 京都大学, 総合情報メディアセンター, 教授 (70166099)
• Co-Investigator(Kenkyū-buntansha): 亀田 能成 京都大学, 総合情報メディアセンター, 助手 (70283637) ; 河原 達也 京都大学, 情報学研究科, 助教授 (00234104) ; 松山 隆司 京都大学, 情報学研究科, 教授 (10109035) ; 東海 彰吾 京都大学, 情報学研究科, 助手 (50283627)
• Keywords: 視覚メディア / 時空間の圧縮 / 分散視覚 / 情報要約 / 講義アーカイブ / 教材制約 / スタジオ撮影 / シナリオ制約

Research Abstract

人間の行動状況を映像で観測し、観測した映像を非線形圧縮(意味的情報を用いた圧縮)するための手法を、講義室を対象とした場面とスタジオでの映像生成を対象とした場面で検討をすすめた。
講義室で行われる講義を複数のカメラで観測すると、複数本の映像が得られる。これらの映像を時空間において如何に圧縮してゆくかが本質的な問題である。このときに利用できる意味的制約として教材を利用する。教材は、講義のストーリを表現しているが、実際の講義は、必ずしも教材に沿って行われるとは限らない。そこで、講義中に観測される動的状況を併用する。講義映像を圧縮してゆくために、講義映像のアーカイブ化システムを構築するという目標を設定した。実現すべき講義のアーカイブは、教材を中心に複数台のカメラからの映像を選択して貼り付けたものであり、これにより同じ教材を利用しても講師ごとに異なったアーカイブが生成される。
スタジオを対象とした情報圧縮では、シナリオに基づいて演技される役者の動作を自動カメラで撮影することを目標とする。撮影カメラの制御プランはシナリオをもとに予め作成できるが、実際の演技はシナリオどおりには行われない。この差異をどのようにして動的に解消してゆくかという問題を設定し、シナリオを制約とした映像の非線形圧縮を考えていく。
始まって半年であるので、明確な研究成果はまだ出ていないが、研究の方向は決まっており、来年度以降さまざまな成果が期待できる。

Research Products

• [Publications] 亀田能成: "複数のカメラを用いた複数ユーザに対する講義の実時間映像化法"電子情報通信学会論文誌. Vol.J82-D-II,No.10. 1598-1605 (1999)
• [Publications] 亀田能成: "講義の自動撮影系における音声・映像インデキシング"電子情報通信学会 技術研究報告. PRMU99-258. 91-98 (2000)
• [Publications] Takashi Matsuyama: "Active Image Capturing and Dynamic Scene Visualization by Cooperative Distributed Vision"Advanced Multimedia Content Processing (S. Nishio and F. Kishino eds.) Lecture Notes in Computer Science. No. 1554. 252-288 (1999)
• [Publications] Takashi Matsuyama: "Human Head Tracking using Adaptive Appearance Models with a Fixed-Viewpoint Pan-Tilt-Zoom Camera"Proc. of 4th International Conference on Face and Gesture Recognition. (2000)
• [Publications] 河原達也: "日本語ディクテーション基本ソフトウェア(98年度版)"日本音響学会誌. Vol.56,No.4. (2000)
• [Publications] 河原達也: "音声認識結果の信頼度を用いた頑健な混合主導対話の実現法"情報処理学会研究報告. 2000-SLP-30-9. (2000)