マルチメディア応用システムのための映像情報中の人物の検出・識別及び情報抽出

1999 年度 実績報告書

• 研究課題/領域番号: 10750296
• 研究機関: 学術情報センター
• 研究代表者: 佐藤 真一 学術情報センター, 研究開発部, 助教授 (90249938)
• キーワード: 顔検出 / 顔追跡 / 顔照合 / 映像解析 / 映像データベース / ドラマ理解

研究概要

映像中の顔の識別方法として、「見え(appearance)」に基づく方法を中心に検討した。映像中の顔を検出・追跡することにより、顔シーケンスが得られる。任意の2つの顔シーケンスの照合方法として、(1)顔シーケンス中の最も正面向きの顔を選択して照合する方法、(2)顔シーケンス間の「最近接対」を選択して照合する方法、(3)顔空間を固有顔法ではなく正準判別分析にて求め、(1)および(2)を行う方法、(4)各人物ごとに固有空間を構成しCLAFIC法にて照合を行う方法、(5)カーネル空間を用いた非線形固有空間を構成し、そこでのCLAFIC法にて照合を行う方法、と言う一連の手法について、ニュース映像とドラマ映像合計10時間弱に適用した結果、それぞれ利害得失があるものの、正準判別分析による空間中での最近接対を利用する照合方法が、パラメータの調整も要らず、精度の良い照合を実現していることが分かった。ついで、この照合方法を応用して、ドラマ映像に対する顔による自動索引付け手法について検討を行った。連続ドラマの第一話から、システムが選び出した数十程度の顔シーケンスに対して人手で名前を付与してやることにより、続く第二話以降の顔シーケンスに対し、70%以上の正解率で自動名前づけが実現できている。これにより、ドラマの自動内容理解、ドラマデータベースのための自動索引付け、ドラマのハイパーテキスト化などの応用が可能になると期待できる。

研究成果

• [文献書誌] Shinichi Satoh,Yuichi Nakamura, and Takeo Kanade: "Name-It : Naming and Detecting Faces in News Videos"IEEE Multimedia. Vol6, No.2. 22-35 (1999)
• [文献書誌] 佐藤真一、坂内正夫: "映像中の人物の高次処理"画像の認識・理解シンポジウム(MIRU'98). I-281-I-286 (1998)
• [文献書誌] 片山紀生、佐藤真一: "マルチメディア情報の大規模処理に向けた多次元インデクシング手法の応用"第4回知能情報メディアシンポジウム. 133-140 (1998)
• [文献書誌] 佐藤真一、片山紀生: "顔シーケンスに対する照合アルゴリズムの高精度化と高速化"電子情報通信学会技術研究報告. IE99-19. (1999)
• [文献書誌] 片山紀生、佐藤真一: "マルチメディア情報の大規模処理に向けた多次元インデクシング手法の応用"電子情報通信学会論文誌. J82-DII,10. 1606-1616 (1999)
• [文献書誌] Shinichi Satoh,Norio Katayama: "An efficient implementation and evaluntion of robust face sequence matching"Proc. of int'l conf. On image and analysis and processing. 266-271 (1999)
• [文献書誌] Shinichi Satoh: "Towards actor / actress identification in drama videos"Proc. of ACM Multimedia (Poster). (1999)
• [文献書誌] Shinichi Satoh: "An actor / actess annotation system for drama videos"Proc. of ACM Multimedia (Demo). (1999)
• [文献書誌] Norio Katayama and Shinichi Satoh: "Significance-sensitive nearest-neighbour search for efficient similarity retrieval of multimedia information"Workshop on Multimedia Intelligent Storage and Retrieval Management (MISRM'99). (1999)
• [文献書誌] 佐藤真一: "ドラマ映像における登場人物のアノテーションシステム"第5回知能情報メディアシンポジウム. (1999)
• [文献書誌] 佐藤真一: "顔空間クラスタリングの学習によるドラマ映像の登場人物のアノテーション手法"電子情報通信学会技術研究報告. KBSE,AI. (2000)
• [文献書誌] Shinichi Satoh: "Comparative evaluation of face sequence matching for content-based video access"Proc. on int'l conf. on automatic face and gesture recognition. (2000)