• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実績報告書

動画に対する深い意味的注釈の付与

研究課題

研究課題/領域番号 17H01831
研究機関早稲田大学

研究代表者

林 良彦  早稲田大学, 理工学術院, 教授(任期付) (80379156)

研究分担者 加藤 恒昭  東京大学, 大学院総合文化研究科, 教授 (60334299)
小川 哲司  早稲田大学, 理工学術院, 准教授 (70386598)
植木 一也  明星大学, 情報学部, 准教授 (80580638)
研究期間 (年度) 2017-04-01 – 2021-03-31
キーワード情報資源の構築・管理 / 動画 / 意味的注釈 / 動詞意味論 / オントロジー / シーングラフ生成 / キャプション生成
研究実績の概要

本研究課題の目的は,画像・動画処理技術と言語・知識処理技術を統合的に用いることにより,動画中に描写されている,エージェントによる意味ある動作区間を検出し,その内容を表す意味注釈を付与することにある.本研究計画の初年度である2017年度は,以下の項目についての検討を進めた.
(1) フレーム画像からのシーングラフの生成: 動画におけるフレーム画像に描写されている物体,および,それらの間の関係をシーングラフと呼ぶグラフ構造として抽出することは,動作区間の検出・記述における基本技術である.計算量を押さえつつ,膨大な組み合わせとなる物体識別,この結果を利用した関係識別に取り組み,それぞれ有用な結果を得るとともに,これらを統合的に行う方式の検討を進めた.(国際会議論文 1件,国内会議論文 1件)
(2) クエリに基づく動画検索: 動画中に描写される可能性のある物体やその動作などを識別する研究を継続的に研究し,アドホック動画検索タスク (TRECVID AVSタスク) の文脈において検証し,良好な結果を確認した.また,(3)の言語の意味表現に関する基礎研究から得た知見をもとに,検索クエリにおける多義語の語義解消の検索精度向上に与える効果を評価した.(国際会議論文 1件,国内会議論文 2件)
(3) 言語の意味表現に関する基礎研究: 深層学習時代における言語学的知識・知見の活用について包括的に再検討した.また,言語情報を活用したゼロショット物体認識,語義・概念の分散表現の意味関係分類や未知語意味推定などへの応用,非テキストモダリティの情報を加味した意味表現に関する検討などを進めた他,本研究課題の主要な課題の一つである動詞のもつ機能・意味に関する分析について有益な指針を得た.(国内誌招待論文 1件,国際会議論文 7件,国内会議論文 8件)

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初計画していた,画像に対する意味的注釈付与のためのオントロジー体系に構築については,大規模な注釈付き画像データベースに対するボトムアップ的な分析を進めたが,データに含まれるノイズやバイアスのために有用な結果を得ることはできていない.その一方で,アドホック動画検索との技術的な共通性に注目することにより,動画(フレーム画像群)に対して,多数の識別器を適用することによる物体・シーン・動作の検出について進展が得られた.またそこにおいて,言語の意味に関する基礎的研究の成果が適用できることが確認できた.以上より,総じて概ね順調に進展したと評価する.

今後の研究の推進方策

本研究課題の申請時からの研究展開の顕著な方向性として,深層学習を応用した画像・動画からのキャプション生成技術が進展してきたことが挙げられる.そこで,申請時の方針 (シーングラフを時間方向に展開して動作の意味記述を得る) に加え,まずキャプションを言語生成し,それから意味記述を求める手法を並行して検討する.この方法では,評定者によって付与されたキャプションを学習データとするため,そのバイアスに強く影響されるという問題があるが,一方で学習データが得やすいという利点もある.以上から,本研究計画の2年目となる2018年度は以下の方針による研究を推進する.
(1) 動画からの動作区間の抽出とキャプション生成: 現在,大きな進展を見せつつある動作に関する画像データ (ActivityNet) を利用し,動作区間の検出・分類,これを制約として利用する動作キャプションの生成に関する研究を立ち上げる.
(2) キーとなるフレーム画像からのシーングラフ生成の高度化: 本年度までの成果に基づき,計算効率を保ちつつシーングラフ生成の精度を改善する方式の研究を進める.このために,知識グラフや画像の描写するシーン分類などの先験的・体系的な知識の利用法を明らかにする.
(3) 意味・知識基盤技術の研究の継続: 特に動作を表す動詞の時間的構造,意味注釈に置いて利用するオントロジー体系,オブジェクト・エンティティの意味属性・制約に関する基礎基盤的研究をさらに強化する.

  • 研究成果

    (23件)

すべて 2018 2017

すべて 雑誌論文 (1件) 学会発表 (20件) (うち国際学会 9件) 図書 (2件)

  • [雑誌論文] 言語学とAI2017

    • 著者名/発表者名
      林 良彦
    • 雑誌名

      人工知能学会誌

      巻: 32 ページ: 384--393

  • [学会発表] Undersampling Improves Hypernymy Prototypicality Learning2018

    • 著者名/発表者名
      Koki Washio and Tsuneaki Kato
    • 学会等名
      LREC 2018 (accepted, May 2018)
    • 国際学会
  • [学会発表] Filling Missing Paths: Modeling Co-occurrences of Word Pairs and Dependency Paths for Recognizing Lexical Semantic Relations2018

    • 著者名/発表者名
      Koki Washio and Tsuneaki Kato
    • 学会等名
      NAACL HLT 2018 (accepted June 2018)
    • 国際学会
  • [学会発表] Social Image Tags as a Source of Word Embeddings: A Task-oriented Evaluation2018

    • 著者名/発表者名
      Mika Hasegawa, Tetsunori Kobayashi and Yoshihiko Hayashi
    • 学会等名
      LREC 2018 (accepted, May 2018)
    • 国際学会
  • [学会発表] Speaker invariant feature extraction for zero-resource languages with adversarial training2018

    • 著者名/発表者名
      Taira Tsuchiya, Naohiro Tawara, Tetsunori Kobayashi, Tetsuji Ogawa
    • 学会等名
      ICASSP2018 (accepted, April 2018)
    • 国際学会
  • [学会発表] クエリ文を用いた詳細映像検索 -TRECVID 2017 AVSタスクの成果報告-2018

    • 著者名/発表者名
      植木 一也,平川 幸司,菊池 康太郎,小林 哲則
    • 学会等名
      動的画像処理実用化ワークショップ(DIA2018) (March 2018)
  • [学会発表] 動詞語義の階層的分類に関する一考察2018

    • 著者名/発表者名
      加藤恒昭
    • 学会等名
      第24回言語処理学会年次大会 (March 2018)
  • [学会発表] FrameNetを利用した談話関係の認識2018

    • 著者名/発表者名
      李 凌寒, 加藤 恒昭
    • 学会等名
      第24回言語処理学会年次大会 (March 2018)
  • [学会発表] 単語ペアと依存構造パスの共起モデリングを用いた語の意味関係の分類2018

    • 著者名/発表者名
      鷲尾 光樹, 加藤 恒昭
    • 学会等名
      第24回言語処理学会年次大会 (March 2018)
  • [学会発表] 語義・概念の分散表現を利用したSemantic Taxonomy Enrichment2018

    • 著者名/発表者名
      金田健太郎, 小林哲則, 林 良彦
    • 学会等名
      第24回言語処理学会年次大会 (March 2018)
  • [学会発表] 共起性を利用した物体認識における言語情報の有効性2018

    • 著者名/発表者名
      黒澤郁音, 菊池康太郎, 小林哲則, 林 良彦
    • 学会等名
      第24回言語処理学会年次大会 (March 2018)
  • [学会発表] ゼロショット物体認識における辞書定義文の援用2018

    • 著者名/発表者名
      菊池康太郎, 林 良彦, 小林哲則
    • 学会等名
      第24回言語処理学会年次大会 (March 2018)
  • [学会発表] クエリ中の単語の語義絞り込みによる動画検索精度の向上2018

    • 著者名/発表者名
      平川幸司, 菊池康太郎, 植木一也, 林 良彦, 小林哲則
    • 学会等名
      第24回言語処理学会年次大会 (March 2018)
  • [学会発表] 機械学習による単語概念の意味属性推定2018

    • 著者名/発表者名
      長谷川美夏, 小林哲則, 林 良彦
    • 学会等名
      第24回言語処理学会年次大会 (March 2018)
  • [学会発表] Classifying Lexical-semantic Relationships by Exploiting Sense/Concept Representations2017

    • 著者名/発表者名
      Kentaro Kanada, Tetsunori Kobayashi and Yoshihiko Hayashi
    • 学会等名
      Workshop on Sense, Concept and Entity Representations and their Applications (SENSE) (April 2017)
    • 国際学会
  • [学会発表] Incorporating visual features into word embeddings: A bimodal autoencoder-based approach2017

    • 著者名/発表者名
      Mika Hasegawa, Tetsunori Kobayashi and Yoshihiko Hayashi
    • 学会等名
      IWCS 2017 (September 2017)
    • 国際学会
  • [学会発表] Waseda_Meisei at TRECVID 2017: Ad-hoc Video Search2017

    • 著者名/発表者名
      Kazuya Ueki, Koji Hirakawa, Kotaro Kikuchi, Tetsuji Ogawa and Tetsunori Kobayashi
    • 学会等名
      TRECVID 2017 (November 2017)
    • 国際学会
  • [学会発表] A Neural Network Model for Detecting Inter-object Relationships2017

    • 著者名/発表者名
      Ikuto Kurosawa, Tatsunori Kobayashi and Yoshihiko Hayashi
    • 学会等名
      CVPR Language and Vision workshop (July 2017)
    • 国際学会
  • [学会発表] Word Vector Augmentation by its Definition for Zero-shot Image Classification2017

    • 著者名/発表者名
      Kotaro Kikuchi, Naohiro Tawara, Tatsunori Kobayashi and Yoshihiko Hayashi
    • 学会等名
      CVPR Language and Vision workshop (July 2017)
    • 国際学会
  • [学会発表] 単語、語義、概念:意味タスクにおける分散表現の適用性2017

    • 著者名/発表者名
      金田健太郎,小林哲則,林 良彦
    • 学会等名
      人工知能学会全国大会 (June 2017)
  • [学会発表] 辞書定義文を用いたゼロショット一般物体認識2017

    • 著者名/発表者名
      菊池康太郎,俵直弘,小林哲則
    • 学会等名
      画像の認識・理解シンポジウム (MIRU) (August 2017)
  • [図書] Springer2017

    • 著者名/発表者名
      van Erp, M., Hellmann, S., McCrae, J.P., Chiarcos, C., Choi, K.-S., Gracia, J., Hayashi, Y., Koide, S., Mendes, P., Paulheim, H., Takeda, H. (Eds.)
    • 総ページ数
      152
    • 出版者
      Knowledge Graphs and Language Technology
    • ISBN
      978-3-319-68723-0
  • [図書] 統計的自然言語処理の基礎2017

    • 著者名/発表者名
      Christopher D.Manning、Hinrich Schutze、加藤 恒昭、菊井 玄一郎、林 良彦、森 辰則
    • 総ページ数
      640
    • 出版者
      共立出版
    • ISBN
      978-4320124219

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi