A study on the structuring o fmulti-media meeting data

• Project/Area Number: 18200007
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Media informatics/Database
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: ASANO Futoshi National Institute of Advanced Industrial Science and Technology, 知能システム研究部門, グループリーダ (00231895)
• Co-Investigator(Kenkyū-buntansha): ASOH Hideki 産業技術総合研究所, 情報技術研究部門, 研究員 (10344194) ; KAWAMOTO Mitsuru 産業技術総合研究所, 情報技術研究部門, 研究員 (10300865) ; OGATA Jun 産業技術総合研究所, 情報技術研究部門, 研究員 (10392599) ; MATSUSAKA Yosuke 産業技術総合研究所, 情報技術研究部門, 研究員 (10343625)
• Project Period (FY): 2006 – 2008
• Project Status: Completed (Fiscal Year 2008)
• Budget Amount: ¥40,430,000 (Direct Cost: ¥31,100,000、Indirect Cost: ¥9,330,000); Fiscal Year 2008: ¥10,270,000 (Direct Cost: ¥7,900,000、Indirect Cost: ¥2,370,000); Fiscal Year 2007: ¥16,900,000 (Direct Cost: ¥13,000,000、Indirect Cost: ¥3,900,000); Fiscal Year 2006: ¥13,260,000 (Direct Cost: ¥10,200,000、Indirect Cost: ¥3,060,000)
• Keywords: マルチメディア / 会議録 / ウェブ・コンテンツ / マイクアレイ / 全方位カメラ / 音源定位 / 音源分離 / ウェブコンテンツ / 構造化 / マイクロホンアレイ / 発話分離 / カメラアレイ

Research Abstract

本研究では、複数のマイクロホンと全方位カメラとからなる入力装置により会議内容を収録したマルチメディアデータ(映像・音声)から、いつ、だれが、どんな発言をしたかという情報を、音源定位・音源分離や音声認識技術などを用いて自動推定して、会議の構造を視覚化するシステムを開発した。このシステムにより、キーワードを含む場面を簡単に検索・再生し、会議の概要を短時間で把握できるようになる。

Research Products

• [Journal Article] Unsupervised Clustering in Multimodal Multiparty Meeting Analysis (2009)
  • Author(s): Y. Matsusaka, et al.
  • Journal Title: Lecture Notes on Artificial Intelligence. Springer Volume on“Multimodal Corpora"(未定(印刷中))
  • Peer Reviewed
• [Journal Article] Tracking a varying number of speakers using particle filtering (2008)
  • Author(s): Angela Quinlan and Futoshi Asano
  • Journal Title: Proc. ICASSP 2008 Pages: 297-300
  • Peer Reviewed
• [Journal Article] " Unsupervised clustering in Multimodal Multiparty analysis, " Proceedings on the International Conference on Language Resources and Evaluation (2008)
  • Author(s): Y.Matsusaka, etal
  • Journal Title: Workshop on Multimodal Corpora Pages: 27-31
  • Peer Reviewed
• [Journal Article] Tracking a varying number of speakers using particle filtering (2008)
  • Author(s): Angela Quinlan, Futoshi Asano
  • Journal Title: Proc. ICASSP 2008 Pages: 297-300
  • Peer Reviewed
• [Journal Article] Unsupervised Clustering in Multimodal Multiparty Meeting Analysis (2008)
  • Author(s): Y. Matsusaka, et al.
  • Journal Title: Proceedings on the International Conference on Language Resources and Evaluation, Workshop on Multimodal Corpora Pages: 27-31
  • Peer Reviewed
• [Journal Article] Detection and Separation of Speech Events inMeeting Recordings Using a Microphone Array (2007)
  • Author(s): F. Asano, K. Yamamoto, J. Ogata, M.Yamada, M. Nakamura
  • Journal Title: EURASIP Journal on Audio, Speech, and Music Processing Volume 2007, Article ID 27616
  • Peer Reviewed
• [Journal Article] Detection and Separation of Speech Events inMeeting Recordings Using a Microphone Array (2007)
  • Author(s): F.Asano, K.Yamamoto, J.Ogata, M.Yamada, M.Nakamura
  • Journal Title: EURASIP Journal on Audio, Speech, and Music Processing Volume2007
  • Peer Reviewed
• [Journal Article] Detection of Overlapping Speech in Meeting Recordings using the Modified Exponential Ftting Test (2007)
  • Author(s): A.Quinlan and F.Asano
  • Journal Title: Proc.Eusipco 2007 Pages: 2360-2364
  • Peer Reviewed
• [Journal Article] Tracking A Varing Number of Sound Sources Using Particle Filtering (2007)
  • Author(s): A.Quinlan, M. Kawamoto, F.Asano, H.Asoh, K.Yamamoto
  • Journal Title: Proc.IASTED International Conference Signal and Image processing Pages: 123-128
  • Peer Reviewed
• [Journal Article] Multi Human Trajectory Estimation using Stochastic Sampling and its Application to Meeting Recognition (2007)
  • Author(s): Yosuke Matsusaka, Hideki Asoh, Futoshi Asano
  • Journal Title: Proceedings of IAPR Machine Vision Applications
  • Peer Reviewed
• [Journal Article] Simultaneous Prediction of Dialog Acts and Address Types in Three-party Conversations (2007)
  • Author(s): Yosuke Matsusaka, Mika Enomoto, Yasuharu Den
  • Journal Title: Proceedings of the 9th International Conference on Multimodal Interfaces Pages: 66-73
  • Peer Reviewed
• [Journal Article] facekit.net : Webから使えるカスタマイズ可能な顔認識器 (2007)
  • Author(s): 松坂要佐, 浅野太
  • Journal Title: 情報処理学会 インタラクション2007 論文集 Pages: 83-84
• [Journal Article] Detection and Separartion of speech events in meeting recordings, (2006)
  • Author(s): F.Asano, J.Ogata
  • Journal Title: Proc. Interspeech 2006 Pages: 2586-2589
• [Journal Article] Stream-based classification and segmentation of speech events in meeting recordings (2006)
  • Author(s): J.Ogata, F.Asano
  • Journal Title: Proc. MRCS2006 Pages: 793-800
  • Peer Reviewed
• [Journal Article] Detection and Separarition of speech events in meeting recordings (2006)
  • Author(s): F.Asano, J.Ogata
  • Journal Title: Proc. Interspeech 2006
• [Journal Article] マイクロホンアレイとカメラアレイを用いた会議録コンテンツ作成システムについて (2006)
  • Author(s): 浅野太
  • Journal Title: 情報処理学会研究会 音声ドキュメント処理ワークショップ Pages: 147-152
  • NAID: 40016334746
• [Journal Article] 会議録データにおける発話イベントの構造化と分離ついて (2006)
  • Author(s): 浅野太, 松坂要佐, 緒方淳, 山田実一, 中村雅巳
  • Journal Title: 日本音響学会 秋季発表会 講演論文集 Pages: 29-30
• [Journal Article] 多人数インタラクションの工学的応用-認識・理解システムの構築とその利用について- (2006)
  • Author(s): 松坂要佐, 緒方淳, 麻生英樹, 浅野太
  • Journal Title: 信学技報 HCS2006-36 Pages: 13-18
  • NAID: 110004821303
• [Presentation] facekit.net:Web から使えるカスタマイズ可能な顔認識器 (2007)
  • Author(s): 松坂要佐, 浅野太
  • Organizer: 情報処理学会インタラクション2007
• [Presentation] マイクロホンアレイとカメラアレイを用いた会議録コンテンツ作成システムについて
  • Author(s): 浅野太
  • Organizer: 音声ドキュメント処理ワークショップ
• [Remarks] 浅野太, 松坂要佐, 関口智嗣, 大嶋裕子
• [Remarks] 会議の映像・音声データから自動的 に会議録コンテンツを作成するシステム
• [Remarks] 記者会見(プレスレク),20081001
• [Patent(Industrial Property Rights)] 全周映像のための表示技術 (2024)
  • Inventor(s): 浅野 太, 松坂 要佐
  • Industrial Property Rights Holder: 独立行政法人産業技術総合研究所
  • Industrial Property Rights Type: 特許
  • Acquisition Date: 2024-03-23
• [Patent(Industrial Property Rights)] 産業財産権の名称:全周映像のための表示 (2008)
  • Inventor(s): 松坂要佐、浅野太
  • Industrial Property Rights Holder: 産業技術総合研究所
  • Industrial Property Number: 2008-194305
  • Filing Date: 2008-07-29
• [Patent(Industrial Property Rights)] 全周映像のための表示技術 (2008)
  • Inventor(s): 松坂要佐, 浅野太
  • Industrial Property Rights Holder: 産業技術総合研究所
  • Industrial Property Number: 2008-194305
  • Filing Date: 2008-07-29