A study on the structuring o fmulti-media meeting data

2008 Fiscal Year Final Research Report

• Project/Area Number: 18200007
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Media informatics/Database
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: ASANO Futoshi National Institute of Advanced Industrial Science and Technology, 知能システム研究部門, グループリーダ (00231895)
• Co-Investigator(Kenkyū-buntansha): ASOH Hideki 産業技術総合研究所, 情報技術研究部門, 研究員 (10344194) ; KAWAMOTO Mitsuru 産業技術総合研究所, 情報技術研究部門, 研究員 (10300865) ; OGATA Jun 産業技術総合研究所, 情報技術研究部門, 研究員 (10392599) ; MATSUSAKA Yosuke 産業技術総合研究所, 情報技術研究部門, 研究員 (10343625)
• Project Period (FY): 2006 – 2008
• Keywords: マルチメディア / 会議録 / ウェブ・コンテンツ / マイクアレイ / 全方位カメラ / 音源定位 / 音源分離

Research Abstract

本研究では、複数のマイクロホンと全方位カメラとからなる入力装置により会議内容を収録したマルチメディアデータ(映像・音声)から、いつ、だれが、どんな発言をしたかという情報を、音源定位・音源分離や音声認識技術などを用いて自動推定して、会議の構造を視覚化するシステムを開発した。このシステムにより、キーワードを含む場面を簡単に検索・再生し、会議の概要を短時間で把握できるようになる。

Research Products

• [Journal Article] Tracking a varying number of speakers using particle filtering (2008)
  • Author(s): Angela Quinlan and Futoshi Asano
  • Journal Title: Proc. ICASSP 2008 Pages: 297-300
  • Peer Reviewed
• [Journal Article] " Unsupervised clustering in Multimodal Multiparty analysis, " Proceedings on the International Conference on Language Resources and Evaluation (2008)
  • Author(s): Y.Matsusaka, etal
  • Journal Title: Workshop on Multimodal Corpora Pages: 27-31
  • Peer Reviewed
• [Journal Article] Detection and Separation of Speech Events inMeeting Recordings Using a Microphone Array (2007)
  • Author(s): F. Asano, K. Yamamoto, J. Ogata, M.Yamada, M. Nakamura
  • Journal Title: EURASIP Journal on Audio, Speech, and Music Processing Volume 2007, Article ID 27616
  • Peer Reviewed
• [Journal Article] Detection and Separartion of speech events in meeting recordings, (2006)
  • Author(s): F.Asano, J.Ogata
  • Journal Title: Proc. Interspeech 2006 Pages: 2586-2589
• [Journal Article] Stream-based classification and segmentation of speech events in meeting recordings (2006)
  • Author(s): J.Ogata, F.Asano
  • Journal Title: Proc. MRCS2006 Pages: 793-800
  • Peer Reviewed
• [Presentation] facekit.net:Web から使えるカスタマイズ可能な顔認識器 (2007)
  • Author(s): 松坂要佐, 浅野太
  • Organizer: 情報処理学会インタラクション2007
  • Year and Date: 20070000
• [Presentation] マイクロホンアレイとカメラアレイを用いた会議録コンテンツ作成システムについて
  • Author(s): 浅野太
  • Organizer: 音声ドキュメント処理ワークショップ
• [Remarks] 浅野太, 松坂要佐, 関口智嗣, 大嶋裕子
• [Remarks] 会議の映像・音声データから自動的 に会議録コンテンツを作成するシステム
• [Remarks] 記者会見(プレスレク),20081001
• [Patent(Industrial Property Rights)] 産業財産権の名称:全周映像のための表示 (2008)
  • Inventor(s): 松坂要佐、浅野太
  • Industrial Property Rights Holder: 産業技術総合研究所
  • Industrial Property Number: 特願2008-194305
  • Filing Date: 2008-07-29