• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

視覚・言語情報を統合処理するニューラルネットワークに関する研究

研究課題

研究課題/領域番号 16K00338
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 ソフトコンピューティング
研究機関慶應義塾大学

研究代表者

萩原 将文  慶應義塾大学, 理工学部(矢上), 教授 (80198655)

研究期間 (年度) 2016-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2018年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2016年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード視覚情報処理 / 言語情報処理 / ニューラルネットワーク / 感性情報 / 対話システム / キャプション自動生成 / 転移学習 / 畳込みニューラルネットワーク / 分散表現 / 連想メモリ
研究成果の概要

視覚情報と言語情報の統合的な処理機構の開発と、入力画像からの常識の自動獲得に関しては、画像を感性豊かに説明するキャプション自動生成システムの構築を行った。本システムは、物体の感性語を推定する際、画像特徴だけでなく物体の名詞情報も活用している。また表現力の高い感性語を生成するための感性語変換機構も有している。
自然言語を生成できるニューラルネットワークの開発に関しては、文脈を考慮した会話文の自動生成が可能な対話システムの構築を行った。さらにこれを、共感と助言に着目した自動相談システムへ発展させた。

研究成果の学術的意義や社会的意義

従来より学術的には、画像のような視覚情報と言語情報は別々に扱われることが多かった。しかし実生活やTV、書籍、Webなど、ほとんど場合、これらは分離されることなく総合的に扱われている。
本研究の目的は、画像と言語を統合的に扱う方法を考案することにある。これは社会からの需要も高く、また学術的にも画像のようなパターン情報と言語のようなシンボル情報を統合処理するという意味で高い意義を有している。

報告書

(5件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (16件)

すべて 2019 2018 2017 2016

すべて 雑誌論文 (9件) (うち査読あり 9件、 オープンアクセス 7件) 学会発表 (7件) (うち国際学会 2件、 招待講演 1件)

  • [雑誌論文] 動的多層化ニューラルネットワーク2019

    • 著者名/発表者名
      佐々木駿也,萩原将文
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J102-D 号: 3 ページ: 226-234

    • DOI

      10.14923/transinfj.2018JDP7045

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2019-03-01
    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Analog Value Associative Memory Using Restricted Boltzmann Machine2019

    • 著者名/発表者名
      Yuichiro Tsutsui and Masafumi Hagiwara
    • 雑誌名

      Journal of Advanced Computational Intelligence and Intelligent Informatics

      巻: 23 号: 1 ページ: 60-66

    • DOI

      10.20965/jaciii.2019.p0060

    • NAID

      130007563433

    • ISSN
      1343-0130, 1883-8014
    • 年月日
      2019-01-20
    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 感情推定を利用した感性的な画像説明文自動生成システム2019

    • 著者名/発表者名
      三由裕也, 萩原将文
    • 雑誌名

      日本感性工学会論文誌

      巻: 18 号: 2 ページ: 151-158

    • DOI

      10.5057/jjske.TJSKE-D-18-00071

    • NAID

      130007627245

    • ISSN
      1884-0833, 1884-5258
    • 関連する報告書
      2019 実績報告書 2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 感性語を考慮した敵対的生成ネットワークを用いたロゴマーク生成2019

    • 著者名/発表者名
      佐川友里香,萩原将文
    • 雑誌名

      日本感性工学会論文誌

      巻: 18 号: 3 ページ: 215-222

    • DOI

      10.5057/jjske.TJSKE-D-18-00091

    • NAID

      130007638199

    • ISSN
      1884-0833, 1884-5258
    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 単語の持つ感情推定法の提案と単語感情辞書の構築2019

    • 著者名/発表者名
      武内達哉,萩原将文
    • 雑誌名

      日本感性工学会論文誌

      巻: 18 号: 4 ページ: 273-278

    • DOI

      10.5057/jjske.TJSKE-D-18-00104

    • NAID

      130007697027

    • ISSN
      1884-0833, 1884-5258
    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 転移学習を用いた階層型潜在変数付きエンコーダ・デコーダによる自動相談システム2019

    • 著者名/発表者名
      和田翔,萩原将文
    • 雑誌名

      日本感性工学会論文誌

      巻: 18 号: 4 ページ: 307-314

    • DOI

      10.5057/jjske.TJSKE-D-19-00008

    • NAID

      130007697046

    • ISSN
      1884-0833, 1884-5258
    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 対話システムにおけるランダム性を考慮した話題展開手法2018

    • 著者名/発表者名
      三上佳孝, 萩原将文
    • 雑誌名

      日本感性工学研究論文集

      巻: 17 ページ: 365-373

    • NAID

      130007381752

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 多様な応答のための分散表現ベース対話システム2018

    • 著者名/発表者名
      三上佳孝, 萩原将文
    • 雑誌名

      日本感性工学研究論文集

      巻: 17 ページ: 275-283

    • NAID

      130006728070

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 対話における文脈を考慮した分散表現生成ニューラルネットワーク2017

    • 著者名/発表者名
      三上佳孝,萩原将文
    • 雑誌名

      日本知能情報ファジィ学会誌

      巻: 29 ページ: 595-604

    • NAID

      130006893559

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [学会発表] A Non-Task-Oriented Dialogue System Controlling the Utterance Length2018

    • 著者名/発表者名
      Kazuki Isoshima and Masafumi Hagiwara
    • 学会等名
      International Conference on Soft Computing and Intelligent Systems & ISIS
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 画像特徴と単語の分散表現を活用した感性語を付与した画像キャプションの自動生成2018

    • 著者名/発表者名
      瀬口太郎
    • 学会等名
      電子情報通信学会ニューロコンピューティング研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 段階的に多層化するニューラルネットワーク2018

    • 著者名/発表者名
      佐々木駿也
    • 学会等名
      電子情報通信学会ニューロコンピューティング研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 分散表現を用いたRBM連想メモリによる知識処理2017

    • 著者名/発表者名
      椎名健之
    • 学会等名
      電子情報通信学会ニューロコンピューティング研究会
    • 発表場所
      機械振興会館(東京都・港区)
    • 年月日
      2017-03-13
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Continuous-Value Associative Memory Using Restricted Boltzmann Machine2017

    • 著者名/発表者名
      Masafumi Hagiwara
    • 学会等名
      International Conference on Soft Computing and Intelligent Systems (ISIS 2017)
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 心を考慮した人工知能へ ~知情意の考慮~2017

    • 著者名/発表者名
      萩原将文
    • 学会等名
      第50回日本人間工学会中国・四国支部大会
    • 関連する報告書
      2017 実施状況報告書
    • 招待講演
  • [学会発表] 連想層と抑制層を導入した言語処理ニューラルネットワーク2016

    • 著者名/発表者名
      山本眞大
    • 学会等名
      第32回ファジィシステムシンポジウム
    • 発表場所
      佐賀大学(佐賀県・佐賀市)
    • 年月日
      2016-09-01
    • 関連する報告書
      2016 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi