• Search Research Projects
  • Search Researchers
  1. Back to previous page

動作主体と動作対象の視覚的な関係を考慮した動作認識モデルの提案

Research Project

Project/Area Number14J11435
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Multimedia database
Research InstitutionThe University of Electro-Communications
Research Fellow DO HANGNGA(2015)  電気通信大学, 情報理工学研究科, 特別研究員(PD)
DO HangNga(2014)  電気通信大学, 情報理工学研究科, 特別研究員(DC2)
Project Period (FY) 2014-04-25 – 2016-03-31
Project Status Completed(Fiscal Year 2015)
Budget Amount *help
¥1,700,000 (Direct Cost : ¥1,700,000)
Fiscal Year 2015 : ¥800,000 (Direct Cost : ¥800,000)
Fiscal Year 2014 : ¥900,000 (Direct Cost : ¥900,000)
Keywords動作モデル / データの多様性 / 大規模なデータ
Outline of Annual Research Achievements

本研究は動詞概念と、動作対象もしくは動作主体の名詞概念との視覚的な関係に関する分析を行い、その関係を考慮した動作モデルを学習する。このモデルを利用することで、動詞と名詞の関係を考慮した、それぞれ単独で認識していた従来の手法より精度の高い動作および物体の同時認識の実現が期待できる。
そのモデルの学習には指定キーワードに対応する動画ショットが大量に必要である。我々がすでに提案したデータ収集フレームワークを用いて100種類のキーワードに関して大規模な実験を実施し多くの動作の動画ショットが得られた。ただし、動作の多様性に対応できなかった場合もある。例えば同じ「swing」(ブランコで遊び)でも、個人で行う場合と、二人で行う場合の動作は見た目が違う。さらにどの場合でもビューポイントなどの違いによりまた動作が異なるように見えることがわかる。このように多様性の大きい動作でも今まで提案した手法を利用することよって見た目が同じのショットしか得られなかった。それで今年度は結果の精度と多様性の改善を目的とし、新しいショット選択手法を提案した。
動作の多様性に対応できるようにショットランキングの前にショットクラスタリングを行う。各クラスタは動作の異なる様相を表す。ショットランキングはクラスタごとに行われ、多くのショットと視覚的に類似したショットは上位にランキングされる。その結果、動作の様々な角度から撮った動画ショットが得られた。これらの結果はすでに国内外学会で発表し、雑誌に投稿中である。

Research Progress Status

27年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

27年度が最終年度であるため、記入しない。

Report

(2results)
  • 2015 Annual Research Report
  • 2014 Annual Research Report

Research Products

(4results)

All 2015 2014

All Journal Article Presentation

  • [Journal Article] VisualTextualRank: An Extension of VisualRank to Large-Scale Video Shot Extraction Exploiting Tag Co-occurrence2015

    • Author(s)
      Nga H. Do and Keiji Yanai
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume : E98-D Pages : 166-172

    • Related Report
      2014 Annual Research Report
    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Presentation] Automatic Action Dataset Construction from Web using Density-based Cluster Analysis and Outlier Detection2015

    • Author(s)
      Do Hang Nga and Keiji Yanai
    • Organizer
      Pacific Rim Symposium on Image and Video Technology
    • Place of Presentation
      Auckland (New Zealand)
    • Year and Date
      2015-11-26
    • Related Report
      2015 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automatic Action Video Dataset Construction from Web using Density-based Cluster Analysis and Outlier Detection2015

    • Author(s)
      Do Hang Nga、柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
    • Place of Presentation
      ホテル阪急エキスポパーク(大阪府・吹田市)
    • Year and Date
      2015-07-30
    • Related Report
      2015 Annual Research Report
  • [Presentation] 人間動作のみからの物体の分類2014

    • Author(s)
      Do Hang Nga, Vu Gia Truong, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム
    • Place of Presentation
      岡山
    • Year and Date
      2014-07-29 – 2014-07-30
    • Related Report
      2014 Annual Research Report

URL :

Published : 2015-01-22   Modified : 2016-12-27  

Information FAQ News Terms of Use

Powered by NII kakenhi