• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

位相表現による注意機構を備えた畳み込みニューラルネットワークの構築

研究課題

研究課題/領域番号 17J08559
研究機関東京大学

研究代表者

長野 祥大  東京大学, 新領域創成科学研究科, 特別研究員(DC1)

研究期間 (年度) 2017-04-26 – 2020-03-31
キーワードニューラルネットワーク / 機械学習 / 深層学習 / 深層生成モデル / Variational Autoencoder
研究実績の概要

本研究は生物における視覚的注意に代表されるような,自身の内部状態や事前知識に依存した効率的な情報処理の計算機上での実現を目指すものである.生物の柔軟な情報処理を計算機で実現するためには,生物が日々接している外界の構造に着目することが必要不可欠であることから,本年度はデータセットに対する事前知識として現実世界に典型的に存在する構造と学習モデルの関係に焦点を当てて研究を行った.これは,前年度までの研究が機械学習の手法として工学的に利用価値が高いため,情報科学的意義が十分にあると判断したためである.
外界の構造として局所的な構造について着目し,局所構造のもとで有用な生成モデルの学習法について研究を行った.これまでは前述のクラスター構造や前年度に取り組んだ階層構造など,予め陽に構造を与えることができる場合を研究の対象としてきた.本年度は,高次元な観測も少数の操作変数を使って表されるという仮定のもとで,必要な帰納バイアスについて研究した.それぞれの操作変数ごとに典型的なスケールが存在するという仮定のもと,大域的な操作変数に局所的な操作変数が依存するような局所構造を仮定した.このような局所構造を持つデータセットに対して,それぞれの局所構造をタスクと捉え,未知タスクへの高速な適用を目指したメタ学習を行うことを提案した.近傍関係を補助的なラベルとして与えることで,各局所構造間で転用可能な表現を抽出した.特定データの局所近傍ごとにタスク固有のパラメーターを持つ生成モデルとして,メタ学習アルゴリズムのMAMLの階層ベイズ的解釈を用いたLocal VAEを提案した.
加えて,ここで用いたMAMLについて,その学習ダイナミクスの理論的解析も行った.
これまでの結果をまとめて4件の国際ワークショップと2件の国内会議で発表した.また現在,査読あり英文誌及び査読あり英文国際会議誌に原稿を投稿中である.

現在までの達成度 (段落)

令和元年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和元年度が最終年度であるため、記入しない。

  • 研究成果

    (7件)

すべて 2020 2019

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (6件) (うち国際学会 4件)

  • [雑誌論文] Normal mode analysis of a relaxation process with Bayesian inference2020

    • 著者名/発表者名
      Sakata Itsushi, Nagano Yoshihiro, Igarashi Yasuhiko, Murata Shin, Mizoguchi Kohji, Akai Ichiro,Okada Masato
    • 雑誌名

      Science and Technology of Advanced Materials

      巻: 21 ページ: 67~78

    • DOI

      10.1080/14686996.2020.1713703

    • 査読あり / オープンアクセス
  • [学会発表] メタ学習を利用した深層ニューラルネットワークによる局所的生成2019

    • 著者名/発表者名
      長野祥大, 高木志郎, 吉田雄紀, 岡田真人
    • 学会等名
      第22回情報論的学習理論ワークショップ (IBIS 2019)
  • [学会発表] Model-agnostic meta-learningの収束と学習率の関係2019

    • 著者名/発表者名
      高木志郎, 長野祥大, 吉田雄紀, 岡田真人
    • 学会等名
      第22回情報論的学習理論ワークショップ (IBIS 2019)
  • [学会発表] Localized Generations with Self-Supervised Meta-Learning2019

    • 著者名/発表者名
      Yoshihiro Nagano, Shiro Takagi, Yuki Yoshida, Masato Okada
    • 学会等名
      NeurIPS 2019 workshop on Learning with Rich Experience: Integration of Learning Paradigms
    • 国際学会
  • [学会発表] On the conditions of MAML convergence2019

    • 著者名/発表者名
      Shiro Takagi, Yoshihiro Nagano, Yuki Yoshida, Masato Okada
    • 学会等名
      3rd Workshop on Meta-Learning at NeurIPS 2019
    • 国際学会
  • [学会発表] Learning Locally Structured Dataset with Gradient-Based Meta-Learning2019

    • 著者名/発表者名
      Yoshihiro Nagano, Shiro Takagi, Yuki Yoshida, Masato Okada
    • 学会等名
      ACML 2019 Workshop on Statistics & Machine Learning Researchers in Japan
    • 国際学会
  • [学会発表] The effect of learning rates on model-agnostic meta-learning2019

    • 著者名/発表者名
      Shiro Takagi, Yoshihiro Nagano, Yuki Yoshida, Masato Okada
    • 学会等名
      ACML 2019 Workshop on Statistics & Machine Learning Researchers in Japan
    • 国際学会

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi