• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

6次元ラベルに基づく個人フォトコレクションの分析と可視化

Research Project

Project/Area Number 12J04750
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Media informatics/Database
Research InstitutionThe University of Tokyo

Principal Investigator

呉 志鵬  東京大学, 大学院情報理工学系研究科, 特別研究員(DC2)

Project Period (FY) 2012 – 2013
Project Status Completed (Fiscal Year 2013)
Budget Amount *help
¥1,800,000 (Direct Cost: ¥1,800,000)
Fiscal Year 2013: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2012: ¥900,000 (Direct Cost: ¥900,000)
Keywords画像可視化 / 画像コラージュ / 漫画風画像転換 / 非写実的表現変換 / アノテーション / 6次元ラベル / ノンフォトリアリスティックレンダリング
Research Abstract

「個人フォトコレクションの分析と可視化」という課題を研究しているが、昨年に画像分析に焦点を置き、「6次元ラベル」に基づく新しい画像アノテーション方法を提出した。その方法は現在流行するソーシャルネットワークを利用し、インターネットにおける画像の視覚的な特徴及びそれに付属するソーシャルインフォメーションへの分析を通じて画像を精確に注釈する。今年度、画像の可視化に注目した研究を行った。具体的には以下の2点に分けられる。
1. インターネットにおける大量の画像向けの可視化 : 制約付きコラージュの即時生成
本研究では、新しい自動的・高速なコラージュ生成を提案した。複雑な画像顕著性分析をしないで済み、ユーザの定義したキャンパスサイズにぴったりおさまるように入力画像のコラージュを生成する。その方法は大量データのリアルタイム動的画像コラージュの生成に適している。極めて高速であり、100枚の画像を処理するには0.5ミリ秒以内で済み、従来の計算法より速度は何オーダーも桁違いに早くなった。その成果は国際会議APASIPA 2013に発表され、フルペーパー論文をすでにIEEE Transaction on Multimediaに投稿した(査読中である)。
2. ユーザー個人向けの画像可視化 : 漫画化等の視覚効果の生成
我々の研究は自然的画像の1. 漫画2. 鉛筆手描き3. アニメーション4. 油絵への高速な変換処理を実現した。漫画を例にしてみれば、1000^*800の入力画像である場合、既存研究では数十秒から数分間までの時間が必要であるのに対して、我々の方法では0.8秒だけで十分であり、百倍にも早くなっていると言える。出力画像の品質から見ても、既存の5つの漫画風画像転換Appと比較しても提案手法の品質が遥かに優れていることを確認した。本研究は国際会議PCM2013とICASSP2014にて発表した。また、関連のdemoを超臨場感コミュニケーション産学官フォーラム(URCF2013)で展示した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

今年主要な仕事が2点ある、1点目は、即時コラージュの生成であり、ユーザの指定した大きさのキャンバスの中に縦横比のバラバラな画像群をぴったりと敷き詰めるというコラージュ生成を極めて高速(1000分の1秒の瞬時)に実現する手法の提案である。これまでに同等の手段は存在せず、多くの人の関心を呼び、論文はIEEE T・MMに論文投稿中である。2点目は、画像の漫画化といった非写実的表現変換を、高品質かつ高速に実行する手法の提案、検証である。この手法に関するものは、国際会議の発表論文として、採択されており、うち一つは、IEEE ICASSPである。

Strategy for Future Research Activity

「個人フォトコレクションの分析と可視化」という課題には研究される余地が多い。例えば、個人フォトコレクション向けの画像検索システムを作り、ユーザーの日常的な画像ブラウジング、文字入力に基づく検索という要求だけではなく、内容に基づく迅速な検索も実現できる。現在それについて研究を継続している。

Report

(2 results)
  • 2013 Annual Research Report
  • 2012 Annual Research Report
  • Research Products

    (15 results)

All 2014 2013 2012 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (7 results) Remarks (5 results)

  • [Journal Article] Building Friend Wall for Local Photo Repository by Using Social Attribute Annotation2014

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Journal Title

      Journal of Multimedia

      Volume: VOL.9 Issue: 1 Pages: 4-13

    • DOI

      10.4304/jmm.9.1.4-13

    • Related Report
      2013 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Self-Similarity-Based Partial Near-Duplicate Video Retrieval and Alignment2014

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Journal Title

      Journal of Multimedia Information Retrieval

      Volume: VOL.3 Issue: 1 Pages: 1-14

    • DOI

      10.1007/s13735-013-0049-1

    • Related Report
      2013 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Partial-Duplicate Image Retrieval via Saliency-guided Visually Matching2013

    • Author(s)
      Liang Li, Shuqiang Jiang, Zhengjun Zha, Zhipeng Wu, Qingming Huang
    • Journal Title

      IEEE Multimedia Magazine

      Volume: VOL.20 Issue: 3 Pages: 13-23

    • DOI

      10.1109/mmul.2013.15

    • Related Report
      2012 Annual Research Report
    • Peer Reviewed
  • [Presentation] MangaWall : Generating Manga Pages for Real-Time Applications2014

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Organizer
      2014 IEEE International Conference on Acoustics, Speech, and Signal Processin
    • Place of Presentation
      Fortezza dal Basso, Florence, Italy(発表確定)
    • Year and Date
      2014-05-05
    • Related Report
      2013 Annual Research Report
  • [Presentation] Saliency Detection-Based Mixture of Reality and Non-Photorealistic Rendering Effects for Artistic Visualization2013

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Organizer
      2013 Pacific-Rim Conference on Multimedia
    • Place of Presentation
      NJUST, Nanjing, China
    • Year and Date
      2013-12-14
    • Related Report
      2013 Annual Research Report
  • [Presentation] 自然画像の漫画風画像への高速変換2013

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Organizer
      2013映像メディア処理シンポジウム
    • Place of Presentation
      ニューウェルシティ湯河原(静岡県熱海市泉107)
    • Year and Date
      2013-11-07
    • Related Report
      2013 Annual Research Report
  • [Presentation] PicWall : Photo Collage On-the-fly2013

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Organizer
      2013 APSIPA Annual Summit and Conference
    • Place of Presentation
      85 Sky Tower Hotel, Kaoh siung. Taiwan
    • Year and Date
      2013-10-30
    • Related Report
      2013 Annual Research Report
  • [Presentation] Photo Collage On-the-fly2013

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Organizer
      第16回画像の認識・理解シンポジウム
    • Place of Presentation
      国立情報学研究所(東京都千代田区)
    • Year and Date
      2013-07-29
    • Related Report
      2013 Annual Research Report
  • [Presentation] Photo Collage On-the-fly2013

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Organizer
      超臨場感コミュニケーション産学官フォーラム(URCF)
    • Place of Presentation
      日本科学未来館(東京都江東区)
    • Year and Date
      2013-05-27
    • Related Report
      2013 Annual Research Report
  • [Presentation] Social Attribute Annotation for Personal Photo Collection2012

    • Author(s)
      Zhipeng Wu, Kiyoharu Aizawa
    • Organizer
      IEEE Workshop on Social Multimedia Computing
    • Place of Presentation
      Melbourne, Australia(招待講演)
    • Year and Date
      2012-07-13
    • Related Report
      2012 Annual Research Report
  • [Remarks] ユーザー個人向けの画像可視化 : 漫画化等の視覚効果の生成

    • URL

      http://manga-on-the-fly.sitell.com/

    • Related Report
      2013 Annual Research Report
  • [Remarks]

    • URL

      http://youtu.be/dYQYTpTnm4k

    • Related Report
      2012 Annual Research Report
  • [Remarks]

    • URL

      http://youtu.be/ZcuXXBHCWEU

    • Related Report
      2012 Annual Research Report
  • [Remarks]

    • URL

      https://github.com/zippon/wu_collage_advanced

    • Related Report
      2012 Annual Research Report
  • [Remarks]

    • URL

      https://github.com/zippon/MangaWall

    • Related Report
      2012 Annual Research Report

URL: 

Published: 2013-04-25   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi