• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

位相表現による注意機構を備えた畳み込みニューラルネットワークの構築

Research Project

Project/Area Number 17J08559
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Soft computing
Research InstitutionThe University of Tokyo

Principal Investigator

長野 祥大  東京大学, 新領域創成科学研究科, 特別研究員(DC1)

Project Period (FY) 2017-04-26 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥2,800,000 (Direct Cost: ¥2,800,000)
Fiscal Year 2019: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2018: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2017: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywordsニューラルネットワーク / 機械学習 / 深層学習 / 深層生成モデル / Variational Autoencoder / 推論 / ダイナミクス / Variational autoencoder
Outline of Annual Research Achievements

本研究は生物における視覚的注意に代表されるような,自身の内部状態や事前知識に依存した効率的な情報処理の計算機上での実現を目指すものである.生物の柔軟な情報処理を計算機で実現するためには,生物が日々接している外界の構造に着目することが必要不可欠であることから,本年度はデータセットに対する事前知識として現実世界に典型的に存在する構造と学習モデルの関係に焦点を当てて研究を行った.これは,前年度までの研究が機械学習の手法として工学的に利用価値が高いため,情報科学的意義が十分にあると判断したためである.
外界の構造として局所的な構造について着目し,局所構造のもとで有用な生成モデルの学習法について研究を行った.これまでは前述のクラスター構造や前年度に取り組んだ階層構造など,予め陽に構造を与えることができる場合を研究の対象としてきた.本年度は,高次元な観測も少数の操作変数を使って表されるという仮定のもとで,必要な帰納バイアスについて研究した.それぞれの操作変数ごとに典型的なスケールが存在するという仮定のもと,大域的な操作変数に局所的な操作変数が依存するような局所構造を仮定した.このような局所構造を持つデータセットに対して,それぞれの局所構造をタスクと捉え,未知タスクへの高速な適用を目指したメタ学習を行うことを提案した.近傍関係を補助的なラベルとして与えることで,各局所構造間で転用可能な表現を抽出した.特定データの局所近傍ごとにタスク固有のパラメーターを持つ生成モデルとして,メタ学習アルゴリズムのMAMLの階層ベイズ的解釈を用いたLocal VAEを提案した.
加えて,ここで用いたMAMLについて,その学習ダイナミクスの理論的解析も行った.
これまでの結果をまとめて4件の国際ワークショップと2件の国内会議で発表した.また現在,査読あり英文誌及び査読あり英文国際会議誌に原稿を投稿中である.

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Report

(3 results)
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • Research Products

    (16 results)

All 2020 2019 2018 2017

All Journal Article (2 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (14 results) (of which Int'l Joint Research: 5 results)

  • [Journal Article] Normal mode analysis of a relaxation process with Bayesian inference2020

    • Author(s)
      Sakata Itsushi, Nagano Yoshihiro, Igarashi Yasuhiko, Murata Shin, Mizoguchi Kohji, Akai Ichiro,Okada Masato
    • Journal Title

      Science and Technology of Advanced Materials

      Volume: 21 Issue: 1 Pages: 67-78

    • DOI

      10.1080/14686996.2020.1713703

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Bayesian LARS-OLSによるコヒーレントフォノンの固有振動モード選択2018

    • Author(s)
      坂田逸志, 長野祥大, 五十嵐康彦, 村田伸, 溝口幸司, 赤井一郎, 岡田真人
    • Journal Title

      電子情報通信学会技術研究報告(IBISML)

      Volume: 118 Pages: 255-262

    • Related Report
      2018 Annual Research Report
  • [Presentation] メタ学習を利用した深層ニューラルネットワークによる局所的生成2019

    • Author(s)
      長野祥大, 高木志郎, 吉田雄紀, 岡田真人
    • Organizer
      第22回情報論的学習理論ワークショップ (IBIS 2019)
    • Related Report
      2019 Annual Research Report
  • [Presentation] Model-agnostic meta-learningの収束と学習率の関係2019

    • Author(s)
      高木志郎, 長野祥大, 吉田雄紀, 岡田真人
    • Organizer
      第22回情報論的学習理論ワークショップ (IBIS 2019)
    • Related Report
      2019 Annual Research Report
  • [Presentation] Localized Generations with Self-Supervised Meta-Learning2019

    • Author(s)
      Yoshihiro Nagano, Shiro Takagi, Yuki Yoshida, Masato Okada
    • Organizer
      NeurIPS 2019 workshop on Learning with Rich Experience: Integration of Learning Paradigms
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] On the conditions of MAML convergence2019

    • Author(s)
      Shiro Takagi, Yoshihiro Nagano, Yuki Yoshida, Masato Okada
    • Organizer
      3rd Workshop on Meta-Learning at NeurIPS 2019
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Learning Locally Structured Dataset with Gradient-Based Meta-Learning2019

    • Author(s)
      Yoshihiro Nagano, Shiro Takagi, Yuki Yoshida, Masato Okada
    • Organizer
      ACML 2019 Workshop on Statistics & Machine Learning Researchers in Japan
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] The effect of learning rates on model-agnostic meta-learning2019

    • Author(s)
      Shiro Takagi, Yoshihiro Nagano, Yuki Yoshida, Masato Okada
    • Organizer
      ACML 2019 Workshop on Statistics & Machine Learning Researchers in Japan
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Wrapped Normal Distribution on Hyperbolic Space for Gradient-Based Learning2019

    • Author(s)
      Yoshihiro Nagano, Shoichiro Yamaguchi, Yasuhiro Fujita, Masanori Koyama
    • Organizer
      Thirty-sixth International Conference on Machine Learning
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 動的モード分解とBayesian LARS-OLSによるコヒーレントフォノンの固有振動モード選択2019

    • Author(s)
      坂田逸志, 長野祥大, 五十嵐康彦, 村田伸, 溝口幸司, 赤井一郎, 岡田真人
    • Organizer
      日本物理学会第74回年次大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] レプリカ交換モンテカルロ法による確率分布推定に基づいた位相アンラッピング2019

    • Author(s)
      薬袋洸慈, 長野祥大, 五十嵐康彦, 中嶋恭久, 成瀬康, 岡田真人
    • Organizer
      日本物理学会第74回年次大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] ベイズ的スペクトル分解を用いたV1複雑型細胞の受容野推定2019

    • Author(s)
      高尾俊輔, 坂本浩隆, 長野祥大, 楽詠コウ, 佐々木耕太, 大澤五住, 岡田真人
    • Organizer
      日本物理学会第74回年次大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 深層生成モデルにおける認識-生成ループのダイナミクスと内部表現2018

    • Author(s)
      長野祥大, 唐木田亮, 岡田真人
    • Organizer
      日本物理学会 第73回年次大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Sparse estimation of spatiotemporal receptive fields via Fourier Lasso2018

    • Author(s)
      Yunosuke Azuma, Kota S. Sasaki, Hirotaka Sakamoto, Yoshihiro Nagano, Yonghao Yue, Masato Okada, Izumi Ohzawa
    • Organizer
      第41回日本神経科学大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Estimation of functional elements of a V1 complex cell using sparse STC2018

    • Author(s)
      Takashi Tsukada, Kota S. Sasaki, Hirotaka Sakamoto, Yoshihiro Nagano, Yonghao Yue, Masato Okada, Izumi Ohzawa
    • Organizer
      第41回日本神経科学大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層生成モデルのサンプリングダイナミクスが実現する概念への引き込み2017

    • Author(s)
      長野祥大, 唐木田亮, 岡田真人
    • Organizer
      第31回 人工知能学会全国大会
    • Related Report
      2017 Annual Research Report

URL: 

Published: 2017-05-25   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi