• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

知識グラフを組込んだニューラルネットワークによる物体認識―物体・意味写像の提案―

研究課題

研究課題/領域番号 17K00236
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 知覚情報処理
研究機関神戸大学

研究代表者

有木 康雄  神戸大学, 都市安全研究センター, 名誉教授 (10135519)

研究期間 (年度) 2017-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2019年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2018年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2017年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワードゼロショット学習 / 意味的特徴 / 画像特徴 / 知識グラフ / 深層学習 / 意味ベクトル / 対話システム / ImageNetデータセット / 見出し単語 / テキスト文書 / 意味表現 / パターン認識 / 一般物体認識 / シンボルグラウンディング
研究成果の概要

本研究では、物体の画像特徴と物体に関する知識を同時に学習することにより、既知物体と未知物体の認識精度向上を目指すゼロショット学習について研究を行った。この結果、知識グラフは単語やテキストといった記述レベルより優れており、完全なWordnet知識グラフを用いるモデルでは、現在最も優れている方法より45%も精度を改善することができた。また、深層学習を用いたゼロショット学習の応用として、知識を付加した対話システムについて研究を行った。

研究成果の学術的意義や社会的意義

物体画像だけから特徴を抽出し認識するという方法には限界があり、「物体に関する知識も同時に学習させることにより、物体認識精度の向上、未知物体の識別と学習(ゼロショット学習)が可能になる」という考えに基づき、シンボル表現された知識と画像信号とを融合して学習を進める方法を明らかにした。また、この考えに基づき、発話文と知識を融合することで、知的な対話を行う方法を明らかにした。

報告書

(4件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 研究成果

    (36件)

すべて 2019 2018 2017 その他

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (34件) (うち国際学会 14件) 備考 (1件)

  • [雑誌論文] Semantic embeddings of generic objects for zero-shot learning2019

    • 著者名/発表者名
      Tristan Hascoet, Yasuo Ariki and Tetsuya Takiguchi
    • 雑誌名

      EURASIP Journal on Image and Video Processing

      巻: ー 号: 1 ページ: 1-14

    • DOI

      10.1186/s13640-018-0371-x

    • NAID

      120006552895

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] On Zero-Shot Recognition of Genetic Objects2019

    • 著者名/発表者名
      Tristan Hascoet, Yasuo Ariki, Tetsuya Takiguchi
    • 学会等名
      International Conference on Computer Vision and Pattern Recognition (CVPR)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Generation of Objections Using Topic and Claim Information in Debate Dialogue System2019

    • 著者名/発表者名
      Kazuaki Furumai, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      International Workshop on Spoken Dialog System Technology (IWSDS)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] ロバストな対話システムのための発話スタイルに非依存なエンコード・デコード手法の提案2019

    • 著者名/発表者名
      古舞千暁, 滝口哲也, 有木康雄
    • 学会等名
      第10回対話システムシンポジウム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 発話スタイルに非依存な文章表現を用いたスタイルロバストなSeq2seqモデルの提案2019

    • 著者名/発表者名
      古舞千暁, 滝口哲也, 有木康雄
    • 学会等名
      言語処理学会第26回年次大会発表論文集
    • 関連する報告書
      2019 実績報告書
  • [学会発表] WordNetを用いた雑談対話システムの汎化性能の向上2019

    • 著者名/発表者名
      麻生大聖, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      電子情報通信学会技術研究報告
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 外部知識を用いた雑談対話システムの汎化性能向上の検討2019

    • 著者名/発表者名
      麻生大聖, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2019年秋季研究発表会講演論文集
    • 関連する報告書
      2019 実績報告書
  • [学会発表] On Zero-Shot Recognition of Genetic Objects2019

    • 著者名/発表者名
      Tristan Hascoet, Yasuo Ariki and Tetsuya Takiguchi
    • 学会等名
      International Conference on Computer Vision and Pattern Recognition (CVPR)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Generation of Objections Using Topic and Claim Information in Debate Dialogue System2019

    • 著者名/発表者名
      Kazuaki Furumai, Tetsuya Takiguchi and Yasuo Ariki
    • 学会等名
      International Workshop on Spoken Dialog System Technology (IWSDS)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] ゼロショット学習を用いた一般物体セグメンテーション2019

    • 著者名/発表者名
      谷田 啓一, Tristan Hascoet, 滝口 哲也, 有木 康雄
    • 学会等名
      情報処理学会第81回全国大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 議論システムにおける言語モデルを用いた賛成/反対意見の自動生成手法の検討2019

    • 著者名/発表者名
      古舞 千暁, 滝口 哲也, 有木 康雄
    • 学会等名
      日本音響学会2019年春季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] ユーザーの発話意図理解に基づくインタビュー発話の生成2019

    • 著者名/発表者名
      松好祐紀, 滝口哲也, 有木康雄, 瀧和男, 片桐恵子
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Debate Dialog for News Question Answering System ‘NetTv’ -Debate Based on Claim and Reason Estimation-2018

    • 著者名/発表者名
      Rikito Marumoto, Katsuyuki Tanaka, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      International Workshop on Spoken Dialog System Technology (IWSDS)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Chat Response Generation Based on Semantic Prediction Using Distributed Representations of Words2018

    • 著者名/発表者名
      Kazuaki Furumai, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      International Workshop on Spoken Dialog System Technology (IWSDS)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] User’s Intention Understanding in Question-Answering System Using Attention-based LSTM2018

    • 著者名/発表者名
      Yuki Matsuyoshi, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      APSIPA
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] An investigation of semantic representations of visual classes for zero-shot learning2018

    • 著者名/発表者名
      Tristan Hascoet, Yasuo Ariki, Tetsuya Takiguchi
    • 学会等名
      第21回画像の認識・理解シンポジウム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 議論システムにおける賛成/反対意見の生成手法の検討2018

    • 著者名/発表者名
      古舞 千暁, 有木 康雄, 滝口 哲也
    • 学会等名
      人工知能学会 言語・音声理解と対話処理研究会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 議論システムにおける賛成/反対意見の生成のための発話のベクトル化手法の検討2018

    • 著者名/発表者名
      古舞 千暁,滝口 哲也, 有木 康雄
    • 学会等名
      日本音響学会2018年秋季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Attention-based LSTMを用いた意図理解とキーワード抽出の統合による質問応答システム2018

    • 著者名/発表者名
      松好祐紀, 滝口 哲也, 有木康雄
    • 学会等名
      電子情報通信学会音声研究会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] ユーザーの発話意図理解に基づくインタビュー発話の 生成に向けて2018

    • 著者名/発表者名
      松好祐紀, 滝口 哲也, 有木康雄
    • 学会等名
      人工知能学会 言語・音声理解と対話処理研究会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Zero-shot learning using dictionary definitions2018

    • 著者名/発表者名
      Tristan Hascoet, Yasuo Ariki, Tetsuya Takiguchi
    • 学会等名
      IWFCV-2018
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Satellite Image Semantic Segmentation Using Fully Convolutional Network2018

    • 著者名/発表者名
      Atsushi Yoshihara, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      IWFCV-2018
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Estimation of Object Function Using Visual Attention2018

    • 著者名/発表者名
      Ryunosuke Azuma, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      IWFCV-2018
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Debate Dialog for News Question Answering System “NetTv”: Debate Based on Claim and Reason Estimation2018

    • 著者名/発表者名
      Rikito Marumoto, Katsuyuki Tanaka, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      IWSDS2018
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Chat Response Generation Based on Semantic Prediction Using Distributed Representations of Words2018

    • 著者名/発表者名
      Kazuaki Furumai, Tetsuya Takiguchi and Yasuo Ariki
    • 学会等名
      IWSDS2018
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Visual grounding of word embeddings: application to zero-shot image classification2018

    • 著者名/発表者名
      ハスコエト トリスタン, 有木 康雄, 滝口 哲也
    • 学会等名
      情報処理学会、コンピュータビジョンとイメージメディア研究会(CVIM)
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ニュース情報検索システム「NetTv」のための議論対話システムー賛否判定と根拠推定に基づく議論ー2018

    • 著者名/発表者名
      丸本 理貴人,田中 克幸,滝口 哲也,有木 康雄
    • 学会等名
      日本音響学会2018年春季研究発表会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 単語の分散表現を用いた意味予測に基づく雑談応答生成2018

    • 著者名/発表者名
      古舞 千暁,有木 康雄,滝口 哲也
    • 学会等名
      日本音響学会2018年春季研究発表会講演論文集
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Attention-based LSTMを用いた音声質問応答システムにおけるユーザーの質問意図理解2018

    • 著者名/発表者名
      松好 祐紀,滝口 哲也,有木 康雄
    • 学会等名
      日本音響学会2018年春季研究発表会講演論文集
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Semantic Web and Zero-Shot Learning of Large Scale Visual Classes2017

    • 著者名/発表者名
      Tristan Hascoet, Yasuo Ariki, Tetsuya Takiguchi
    • 学会等名
      First International Workshop on Symbolic-Neural Learning (SNL-2017)
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Investigation of the correlations between CNN visual features and word embeddings2017

    • 著者名/発表者名
      Tristan Hascoet, Yasuo Ariki, Tetsuya Takiguchi
    • 学会等名
      2nd Workshop on Closing the Loop Between Vision and Language, ICCV
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 災害応急対策支援を目的とした衛星画像の被覆分類精度向上について2017

    • 著者名/発表者名
      吉原 篤, 滝口 哲也, 有木 康雄
    • 学会等名
      第20回画像の認識・理解シンポジウム
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ニュース情報検索システム「NetTv」における議論対話システム実現のためのユーザ主張・根拠の推定2017

    • 著者名/発表者名
      丸本理貴人,田中克幸, 滝口 哲也, 有木 康雄
    • 学会等名
      人工知能学会 言語・音声理解と対話処理研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ユーザー支援を目的とした音声質問応答システム2017

    • 著者名/発表者名
      松好 祐紀,滝口 哲也,有木 康雄
    • 学会等名
      日本音響学会2017年秋季研究発表会講演論文集
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 人の理解や習熟をサポートする音声質問応答システム2017

    • 著者名/発表者名
      松好 祐紀, 滝口 哲也, 有木 康雄
    • 学会等名
      人工知能学会 言語・音声理解と対話処理研究会
    • 関連する報告書
      2017 実施状況報告書
  • [備考] 神戸大学 システム情報学研究科 情報科学専攻 メディア情報講座

    • URL

      http://www.me.cs.scitec.kobe-u.ac.jp/~takigu/publications.html

    • 関連する報告書
      2019 実績報告書 2018 実施状況報告書 2017 実施状況報告書

URL: 

公開日: 2017-04-28   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi