機械学習の枠組みに基づく映像検索システムの再構築

• 研究課題/領域番号: 23300038
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: メディア情報学・データベース
• 研究機関: 神戸大学
• 研究代表者: 上原 邦昭 神戸大学, システム情報学研究科, 教授 (60160206)
• 研究分担者: 白浜 公章 日本学術振興会, 海外特別研究員 (30467675)
• 研究期間 (年度): 2011-04-01 – 2014-03-31
• 研究課題ステータス: 完了 (2013年度)
• 配分額: 20,280千円 (直接経費: 15,600千円、間接経費: 4,680千円); 2013年度: 5,850千円 (直接経費: 4,500千円、間接経費: 1,350千円); 2012年度: 6,890千円 (直接経費: 5,300千円、間接経費: 1,590千円); 2011年度: 7,540千円 (直接経費: 5,800千円、間接経費: 1,740千円)
• キーワード: マルチメディア / 機械学習 / 映像データ / 映像検索 / 部分教師つき学習 / ラフ集合理論 / バギング / ランダムサブペース / MapReduce / TRECVID / ランダムサブスペース

研究概要

映像例示型検索（QBE: Query By Example）は、クエリとして与えられた映像から、色、エッジ、動きなどの特徴量に基づいて、クエリに適合する映像としない映像を識別するための分類器を構築する機械学習の問題とみなせる。そこで、事例、特徴量、学習アルゴリズム、データ量といった機械学習の観点からQBEの改良に取り組んだ。最終的に、大規模な映像データから、クエリに適合する映像を高速かつ高精度に検索可能な手法を開発した。さらに、開発手法を物体認識に応用して、米国NIST主催の世界的な映像解析コンテストTRECVID 2012において、世界最高精度を達成することに成功した。

研究成果

• [雑誌論文] Hybrid Negative Example Selection Using Visual and Conceptual Features (2014)
  • 著者名/発表者名: Kimiaki Shirahama, Yuta Matsuoka and Kuniaki Uehara
  • 雑誌名: Multimedia Tools and Applications 巻: 71 号: 3 ページ: 967-989
  • DOI: 10.1007/s11042-011-0886-y
  • 査読あり
• [雑誌論文] 行列演算に基づく高速かつ厳密な大規模映像データ処理 (2013)
  • 著者名/発表者名: 白浜公章, 上原邦昭
  • 雑誌名: 映像情報メディア学会誌 巻: 67 号: 7 ページ: J241-J251
  • DOI: 10.3169/itej.67.J241
  • NAID: 130003369092
  • ISSN: 1342-6907, 1881-6908
  • 査読あり
• [雑誌論文] ラフ集合理論を用いたクエリの帰納的定義に基づく例示映像検索 (2012)
  • 著者名/発表者名: 白浜公章, 松岡悠太, 上原邦昭
  • 雑誌名: 映像情報メディア学会誌 巻: 66 号: 5 ページ: J124-J135
  • DOI: 10.3169/itej.66.J124
  • NAID: 130002111210
  • ISSN: 1342-6907, 1881-6908
  • 査読あり
• [雑誌論文] Constructing and Utilizing Video Ontology for Accurate and Fast Retrieval (2011)
  • 著者名/発表者名: Kimiaki Shirahama and Kuniaki Uehara
  • 雑誌名: International Journal of Multimedia Data Engineering and Management (IJMDEM) 巻: Vol. 2, No. 4 号: 4 ページ: 59-75
  • DOI: 10.4018/jmdem.2011100104
  • 査読あり
• [雑誌論文] Event Retrieval in Video Archives Using Rough Set Theory and Partially Supervised Learning (2011)
  • 著者名/発表者名: Kimiaki Shirahama, Yuta Matsuoka and Kuniaki Uehara
  • 雑誌名: Multimedia Tools and Applications 巻: Vol. 57, No. 1 号: 1 ページ: 145-173
  • DOI: 10.1007/s11042-011-0727-z
  • 査読あり
• [学会発表] University of Siegen, Kobe University, and Muroran Institute of Technology at TRECVID 2013 Multimedia Event Detection (2013)
  • 著者名/発表者名: Kimiaki Shirahama, Chen Li, Marcin Grzegorzek, Kuniaki Uehara
  • 学会等名: TREC Video Retrieval Evaluation (TRECVID) 2013 Workshop
  • 発表場所: Maryland, US
  • 年月日: 2013-11-21
• [学会発表] Video Retrieval by Learning Uncertainties in Concept Detection from Imbalanced Annotation Data (2013)
  • 著者名/発表者名: Kimiaki Shirahama, Kenji Kumabuchi and Kuniaki Uehara
  • 学会等名: The Fifth International Conferences on Advances in Multimedia(MMEDIA 2013)
  • 発表場所: Venice, Italy
  • 年月日: 2013-04-22
• [学会発表] Kobe University and Muroran Institute of Technology at TRECVID 2012 Semantic Indexing Task (2012)
  • 著者名/発表者名: Kimiaki Shirahama and Kuniaki Uehara
  • 学会等名: TREC Video Retrieval Evaluation (TRECVID) 2012 Workshop
  • 発表場所: Maryland, US
  • 年月日: 2012-11-26
• [学会発表] Examining the Applicability of Virtual Reality Technique for Video Retrieval (2012)
  • 著者名/発表者名: Kimiaki Shirahama, Kuniaki Uehara and Marcin Grzegorzek
  • 学会等名: The 10th Workshop on Content-Based Multimedia Indexing (CBMI 2012)
  • 発表場所: Annecy France
  • 年月日: 2012-06-29
• [学会発表] Kobe University at TRECVID 2011 Semantic Indexing and Multimedia Event Detection (2011)
  • 著者名/発表者名: Kimiaki Shirahama, Lin Yanpeng and Kuniaki Uehara
  • 学会等名: TREC Video Retrieval Evaluation (TRECVID) 2011 Workshop
  • 発表場所: Maryland, US
  • 年月日: 2011-12-06
• [学会発表] Kobe University at TRECVID 2011 Semantic Indexing and Multimedia Event Detection (2011)
  • 著者名/発表者名: Kimiaki Shirahama, Lin Yanpeng, Kuniaki Uehara
  • 学会等名: TREC Video Retrieval Evaluation (TRECVID) 2011 Workshop
  • 発表場所: Gaithersburg, Maryland, USA
  • 年月日: 2011-12-06
• [学会発表] Utilizing Video Ontology for Fast and Accurate Query-by-Example Retrieval (2011)
  • 著者名/発表者名: Kimiaki Shirahama and Kuniaki Uehara
  • 学会等名: The IEEE International Workshop on Semantic Multimedia in conjunction with the Fifth IEEE International Conference on Semantic Computing
  • 発表場所: California, US
  • 年月日: 2011-09-21
• [学会発表] Utilizing Video Ontology for Fast and Accurate Query-by-Example Retrieval (2011)
  • 著者名/発表者名: Kimiaki Shirahama, Kuniaki Uehara
  • 学会等名: IEEE International Workshop on Semantic Multimedia in conjunction with 5th IEEE International Conference on Semantic Computing (ICSC-SMM 2011)
  • 発表場所: Stanford University, Palo Alto, CA, USA
  • 年月日: 2011-09-21
• [学会発表] Effectiveness of Video Ontology in Query by Example Approach (2011)
  • 著者名/発表者名: Kimiaki Shirahama and Kuniaki Uehara
  • 学会等名: The Seventh International Conference on Active Media Technology (AMT 2011)
  • 発表場所: Lanzhou, China
  • 年月日: 2011-09-07
• [学会発表] Effectiveness of Video Ontology in Query by Example Approach (2011)
  • 著者名/発表者名: Kimiaki Shirahama, Kuniaki Uehara
  • 学会等名: 2011 International Conference on Active Media Technology (AMT 2011)
  • 発表場所: Lanzhou, China
  • 年月日: 2011-09-07
• [学会発表] Video Retrieval by Managing Uncertainty in Concept Detection using Dempster-Shafer Theory (2011)
  • 著者名/発表者名: Kimiaki Shirahama, Kenji Kumabuchi and Kuniaki Uehara
  • 学会等名: The Fourth International Conferences on Advances in Multimedia (MMEDIA 2012)
  • 発表場所: Chamonix/Mont Blanc, France
  • 年月日: 2011-05-01
• [学会発表] Video Retrieval by Learning Uncertainties in Concept Detection from Imbalanced Annotation Data
  • 著者名/発表者名: Kimiaki Shirahama, Kenji Kumabuchi and Kuniaki Uehara
  • 学会等名: The 5th International Conferences on Advances in Multimedia
  • 発表場所: Venice, Italy
• [学会発表] University of Siegen, Kobe University, and Muroran Institute of Technology at TRECVID 2013 Multimedia Event Detection
  • 著者名/発表者名: Kimiaki Shirahama, Chen Li, Marcin Grzegorzek, Kuniaki Uehara
  • 学会等名: TREC Video Retrieval Evaluation (TRECVID) 2013 Workshop
  • 発表場所: Gaithersburg, Maryland, USA
• [学会発表] 弱教師あり学習による効率的な注目領域の検出と映像分類への応用
  • 著者名/発表者名: 松村憲，白浜公章，上原邦昭
  • 学会等名: 映像情報メディア学会 メディア工学研究会
  • 発表場所: 北海道大学（北海道）
• [学会発表] 能動学習とタグ推薦を用いたオンライン映像アノテーションゲーム
  • 著者名/発表者名: 渡邊結衣，白浜公章，上原邦昭
  • 学会等名: 電子情報通信学会 データ工学研究会
  • 発表場所: キャンパスプラザ京都（京都府）
• [学会発表] Kobe University and Muroran Institute of Technology at TRECVID 2012 Semantic Indexing Task
  • 著者名/発表者名: Kimiaki Shirahama and Kuniaki Uehara
  • 学会等名: TREC Video Retrieval Evaluation (TRECVID) 2012 Workshop
  • 発表場所: NIST, Gaithersburg, Maryland, USA
• [学会発表] Examining the Applicability of Virtual Reality Technique for Video Retrieval
  • 著者名/発表者名: Kimiaki Shirahama, Kuniaki Uehara and Marcin Grzegorzek
  • 学会等名: The 10th Workshop on Content-Based Multimedia Indexing (CBMI 2012)
  • 発表場所: Annecy, France
• [学会発表] Video Retrieval by Managing Uncertainty in Concept Detection using Dempster–Shafer Theory
  • 著者名/発表者名: Kimiaki Shirahama, Kenji Kumabuchi and Kuniaki Uehara
  • 学会等名: The Fourth International Conferences on Advances in Multimedia (MMEDIA 2012)
  • 発表場所: Chamonix/Mont Blanc, France
• [備考] TRECVID2012で開発した物体認識手法の詳細は, 以下のNISTサイトで公開されている.
• [備考] 意味イ ンデキシング部門の概要, 及び各研究機関で開発さ れた手法の順位
  • URL: http://www-nlpir.nist.gov/projects/tvpubs/tv12.slides/tv12.sin.slides.pdf
• [備考] 開発した物体認識手法に関する論文
  • URL: http://www-nlpir.nist.gov/projects/tvpubs/tv12.papers/kobe-muroran.pdf
• [備考] 開発した物体認識手法に関する講演資料
  • URL: http://www-nlpir.nist.gov/projects/tvpubs/tv12.slides/tv12.kobe-muroran.sin.slides.pdf
• [備考] （意味インデキシング部門の概要，及び各研究機関で開発された手法の順位）
  • URL: http://www-nlpir.nist.gov/projects/tvpubs/tv12.slides/tv12.sin.slides.pdf
• [備考] （開発した物体認識手法に関する論文）
  • URL: http://www-nlpir.nist.gov/projects/tvpubs/tv12.papers/kobe-muroran.pdf
• [備考] （開発した物体認識手法に関する講演資料）
  • URL: http://www-nlpir.nist.gov/projects/tvpubs/tv12.slides/tv12.kobe-muroran.sin.slides.pdf