Ｗｅｂマルチメディアマイニングによる動詞概念と名詞概念およびその関係の自動学習

• 研究課題/領域番号: 23650044
• 研究種目: 挑戦的萌芽研究
• 配分区分: 基金
• 研究分野: メディア情報学・データベース
• 研究機関: 電気通信大学
• 研究代表者: 柳井 啓司 電気通信大学, 情報理工学(系)研究科, 准教授 (20301179)
• 研究期間 (年度): 2011 – 2013
• 研究課題ステータス: 完了 (2013年度)
• 配分額: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円); 2013年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2012年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2011年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
• キーワード: 動作認識 / ビデオ認識 / Webマルチメディアマイニング / Web動画 / 画像認識 / 一般物体認識 / Web動画分類 / Web動画マイニング / 動画像認識 / 時空間特徴量 / 動作分類 / 物体認識

研究概要

本研究では，3年間の研究によって，次の成果が得られた．(1) キーワードを入れるだけで，YouTubeなどのWeb上の動画共有サイトから動画を収集し，その中から自動的にキーワードに相応しい動画ショットを選択するシステムの実現．(2) Web上の静止画像を利用し，(1)の精度を向上させる方法．(3) (1)の精度を向上させるために，キーワードと動画ショットの関係をさらに効率的に利用するためのVisualTextualRank法の提案．(4) 人間動作の手の動きに注目し，それを時空間特徴量として表現することによって，人間の動作から物体を推定，およびインタラクションを分析する手法の提案．

研究成果

• [雑誌論文] FoodCam: A Real-time Food Recognition System on a Smartphone (2014)
  • 著者名/発表者名: Yoshiyuki Kawano and Keiji Yanai
  • 雑誌名: Multimedia Tools and Applications 巻: - 号: 14 ページ: 5263-5287
  • DOI: 10.1007/s11042-014-2000-8
  • 査読あり
• [雑誌論文] Automatic Extraction of Relevant Video Shots of Specific Actions Exploiting Web Data (2014)
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 雑誌名: Computer Vision and Image Understanding 巻: Vol. 118 ページ: 2-15
  • DOI: 10.1016/j.cviu.2013.03.009
  • 査読あり
• [雑誌論文] 複数品目が含まれる食事画像の認識における共起関係の利用 (2013)
  • 著者名/発表者名: 松田裕司, 柳井啓司
  • 雑誌名: 電子情報通信学会論文誌 巻: vol. J96-D, no.8 ページ: 1724-1730
  • NAID: 110009634944
  • 査読あり
• [雑誌論文] Large-scale Web Video Shot Ranking Based on Visual Features and Tag Co-occurrence (2013)
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 雑誌名: Proceedings of the 21st ACM international conference on Multimedia 巻: - ページ: 525-528
  • DOI: 10.1145/2502081.2502139
  • 査読あり
• [雑誌論文] 複数品目が含まれる食事画像の認識における共起関係の利用 (2013)
  • 著者名/発表者名: 松田裕司，柳井啓司
  • 雑誌名: 電子情報通信学会論文誌D 巻: J96-D-8
  • NAID: 110009634944
  • 査読あり
• [雑誌論文] 候補領域推定に基づく複数品目食事画像認識 (2012)
  • 著者名/発表者名: 松田裕司, 甫足創, 柳井啓司
  • 雑誌名: 電子情報通信学会論文誌 巻: Vol.J95-D, No.8 ページ: 1554-1564
  • NAID: 110009489166
  • 査読あり
• [雑誌論文] 候補領域推定に基づく複数品目食事画像認識 (2012)
  • 著者名/発表者名: 松田裕司，甫足創，柳井啓司
  • 雑誌名: 電子情報通信学会論文誌D 巻: J95-D-8 ページ: 1554-1564
  • NAID: 110009489166
  • 査読あり
• [雑誌論文] Folksonomyを用いた画像特徴とタグ共起に基づく画像オントロジーの自動構築 (2011)
  • 著者名/発表者名: 秋間雄太, 川 久保秀敏, 柳井啓司
  • 雑誌名: 電子情報通信学会論文誌 巻: Vol.J94-D, No.8 ページ: 1248-1259
  • NAID: 110008686476
  • 査読あり
• [雑誌論文] Folksonomyを用いた画像特徴とタグ共起に基づく画像オントロジーの自動構築 (2011)
  • 著者名/発表者名: 秋間雄太，川久保秀敏，柳井啓司
  • 雑誌名: 電子情報通信学会論文誌D 巻: J94-D-8 ページ: 1248-1259
  • NAID: 110008686476
  • 査読あり
• [学会発表] A Dense SURF and Triangulation based Spatio-Temporal Feature for Action Recognition (2014)
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: Proc. of Multimedia Modeling Conference (MMM)
  • 発表場所: Dublin, Ireland
• [学会発表] A Spatio-Temporal Feature based on Triangulation of Dense SURF (2013)
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: Proc. of ICCV Workshop on Action Recognition with a Large Number of Classes
  • 発表場所: Sydney, Australia
• [学会発表] Rapid Mobile Food Recognition using Fisher Vector (2013)
  • 著者名/発表者名: Yoshiyuki Kawano and Keiji Yanai
  • 学会等名: Proc. of Asian Conference on Pattern Recognition
  • 発表場所: Okinawa, Japan
• [学会発表] Summarization of Egocentric Moving Videos for Generating Walking Route Guidance (2013)
  • 著者名/発表者名: Masaya Okamoto and Keiji Yanai
  • 学会等名: Proc. of Pacific-rim Symposium on Image and Vision Technology
  • 発表場所: Guanajuato, Mexico
• [学会発表] Large-scale Web Video Shot Ranking Based on Visual Features and Tag Co-occurrence (2013)
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: Proc. of ACM Multimedia
  • 発表場所: Barcelona, Spain
• [学会発表] Visual Event Mining from Geo-Tweet Photos (2013)
  • 著者名/発表者名: Takamu Kaneko and Keiji Yanai
  • 学会等名: Proc. of ICME Workshop on Social Multimedia Research
  • 発表場所: San Jone, CA, USA
• [学会発表] Real-time Mobile Food Recognition System (2013)
  • 著者名/発表者名: Yoshiyuki Kawano and Keiji Yanai
  • 学会等名: Proc. of CVPR Workshop on Mobile Vision
  • 発表場所: Portland, OR, USA
• [学会発表] Visual Analysis of Tag Co-occurrence on Nouns and Adjectives (2013)
  • 著者名/発表者名: Yuya Kohaya and Keiji Yanai
  • 学会等名: Proc. of Multimedia Modelling Conference (MMM)
  • 発表場所: Huangshan, China
• [学会発表] Visual Analysis of Tag Co-occurrence on Nouns and Adjectives (2013)
  • 著者名/発表者名: Yuya Kohaya and Keiji Yanai
  • 学会等名: Multimedia Modelling Conference (MMM)
  • 発表場所: Huangshan, China
• [学会発表] Visual Event Mining from Geo-Tweet Photos (2013)
  • 著者名/発表者名: Takamu Kaneko and Keiji Yanai
  • 学会等名: ICME WS on Social Multimedia Research
  • 発表場所: San Jone, CA, USA
• [学会発表] Multiple-Food Recognition Considering Co-occurrence employing Manifold Ranking (2012)
  • 著者名/発表者名: Yuji Matsuda and Keiji Yanai
  • 学会等名: Proc. of IAPR International Conference on Pattern Recognition (ICPR)
  • 発表場所: Tsukuba, Japan
• [学会発表] Real-time Mobile Recipe Suggestion System using Food Ingredient Recognition (2012)
  • 著者名/発表者名: Takuma Maruyama and Keiji Yanai
  • 学会等名: ACM MM WS on Interactive Multimedia on Mobile and Portable Devices (IMMPD) Nara
  • 発表場所: Japan
• [学会発表] Visualization of Real-World Events with Tweet Photos (2012)
  • 著者名/発表者名: Yusuke Nakaji and Keiji Yanai
  • 学会等名: Proc. of IEEE ICME Workshop on Social Media Computing
  • 発表場所: Melbourn, Australia
• [学会発表] Recognition of Multiple Food Images by Detecting Candidate Regions (2012)
  • 著者名/発表者名: Yuji Matsuda and Keiji Yanai
  • 学会等名: Proc. of IEEE International Conference on Multimedia and Expo (ICME)
  • 発表場所: Melbourn, Australia
• [学会発表] Automatic Collection of Web Video Shots Corresponding to Specific Actions using Web Images (2012)
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: Proc. of IEEE CVPR Workshop on Large-Scale Video Search and Mining
  • 発表場所: Province, USA
• [学会発表] World Seer : A Realtime Geo-Tweet Photo Mapping System (2012)
  • 著者名/発表者名: Keiji Yanai
  • 学会等名: Proc. of ACM International Conference on Multimedia Retrieval (ICMR)
  • 発表場所: Demo Paper, Hong Kong
• [学会発表] World Seer : A Realtime Geo-Tweet Photo Mapping System (2012)
  • 著者名/発表者名: Keiji Yanai
  • 学会等名: ACM International Conference on Multimedia Retrieval (ICMR)
  • 発表場所: Hong Kong
• [学会発表] Visualization of Real-World Events with Tweet Photos (2012)
  • 著者名/発表者名: Yusuke Nakaji and Keiji Yanai
  • 学会等名: IEEE ICME Workshop on Social Media Computing
  • 発表場所: Melbourn, Australia
• [学会発表] A Travel Planning System Based on Travel Trajectories Extracted from a Large Number of Geotagged Photos on the Web (2011)
  • 著者名/発表者名: Kohya Okuyama and Keiji Yanai
  • 学会等名: Proc. of Pacific-Rim Conference on Multimedia
  • 発表場所: Sydney, Australia (PCM)
• [学会発表] Automatic Construction of an Action Video Shot Database using Web Videos (2011)
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: Proc. of IEEE International Conference on Computer Vision (ICCV)
  • 発表場所: Barcelona, Spain
• [学会発表] Automatic Construction of an Action Video Shot Database using Web Videos (2011)
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: IEEE International Conference on Computer Vision (ICCV)(招待講演)
  • 発表場所: Barcelona, Spain
• [学会発表] A Travel Planning System Based on Travel Trajectories Extracted from a Large Number of Geotagged Photos on the Web (2011)
  • 著者名/発表者名: Kohya Okuyama and Keiji Yanai
  • 学会等名: Pacific-Rim Conference on Multimedia
  • 発表場所: Sydney, Australia
• [学会発表] A Dense SURF and Triangulation based Spatio-Temporal Feature for Action Recognition
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: International Multimedia Modeling Conference (MMM)
  • 発表場所: Dublin, Ireland
• [学会発表] A Spatio-Temporal Feature based on Triangulation of Dense SURF
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: ICCV Workshop on Action Recognition with a Large Number of Classes
  • 発表場所: Sydney, Australia
• [学会発表] Automatic Collection of Web Video Shots Corresponding to Specific Actions using Web Images
  • 著者名/発表者名: Do Hang Nga and Keiji Yanai
  • 学会等名: IEEE CVPR Workshop on Large-Scale Video Search and Mining
  • 発表場所: Province, USA
• [図書] Entropy-based Analysis of Visual Concepts, In "Multimedia Information Extraction" (2012)
  • 著者名/発表者名: Keiji Yanai, Hidetoshi Kawakubo and Kobus Barnard
  • 出版者: Wiley-IEEE CS Press
• [図書] Multimedia Information Extraction (2012)
  • 著者名/発表者名: Mark T. Maybury (Editor)
  • 総ページ数: 496
  • 出版者: Wiley-IEEE Computer Society Press
• [備考]
  • URL: http://mm.cs.uec.ac.jp/webvideo/
• [備考] 100種類動作のWeb動画収集結果閲覧サイト
  • URL: http://mm.cs.uec.ac.jp/webvideo/