• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

低次機能を融合し高次機能を獲得する発達型人工神経回路網開発への挑戦

研究課題

研究課題/領域番号 23K18489
研究機関お茶の水女子大学

研究代表者

小林 一郎  お茶の水女子大学, 基幹研究院, 教授 (60281440)

研究期間 (年度) 2023-06-30 – 2025-03-31
キーワード文法変分自己符号化器 / 発達型人工神経回路網 / 転移学習 / 複数機能転移
研究実績の概要

従来の深層学習では,特定のタスクに対する学習によって得られたネットワークトポロジーを異なるタスクに対して転用する際,ファインチューニングや転移学習のように,新規タスクに最も適合が期待される単一の学習済みモデルを基礎として学習を行う.一方で生物はそれまでに獲得した複数の経験を抽象化を行い,知識として保持し,それらを組み合わせることで新たなタスクに適応することができる.これを実現するためには,獲得するネットワーク構造において,特定の機能を持つネットワークトポロジーの融合を可能にするアーキテクチャが必要となる.本研究ではネットワークの結合荷重ではなくトポロジーを進化的に獲得するWeight Agnostic Neural Networks(WANN)の枠組みを用いた.この得られたトポロジーを,生成規則の埋め込み表現を用いることで行列で表現し,これをGrammar Variational Autoencoder(GVAE)をベースにしたエンコーダーデコーダーモデルの入力として用いた.実験結果を通じて,個々のタスクを解決する複数のニューラルネットワークモデルを潜在空間に表現することができ,タスク間の関係性を捉えることが可能であることを確認した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

Weight Agnostic Neural Networks(WANN)において,ネットワークトポロジーは入力と出力をランダムに直接結んだ最小のネットワークを初期集団として遺伝的アルゴリズムの枠組みで獲得する.より損失の値の低い個体が残留し,交叉や突然変異を繰り返すことにより改善されたネットワークを獲得した.ここでの突然変異は,sinやtanhといった活性化関数をもつノードを追加し,ノード間を結ぶエッジを追加し,ノードの活性化関数を変化させるの3種を設定した.このWANNを用いて特定の単一の機能を持つ複数のネットワーク構造を文法変分オートエンコーダを用いて,潜在空間上にそれぞれのネットワークを表現した.
この潜在空間上の表現を空間内の位置関係を考慮し、サンプリングすることで複数の異なる機能を融合した新たなニューラルネットワークを構築した.実験として、三種の色、赤、青、緑のそれぞれの色を識別する機能と、数字の0から9までを識別する機能のニューラルネットワークを,WANNを通じて発達させたそれぞれ960個のネットワークを文法変文オートエンコーダに入力し潜在空間内での個々のネットワークの分布を確認したところ,それぞれの機能ごとに偏った分布が形成されていることを確認した.これにより,機能を融合するネットワークをサンプリングするためには,それら偏った分布の中間位置などから潜在表現をサンプリングし,複数機能が追加されたネットワークが構築されているかを検証する土台を構築した.

今後の研究の推進方策

特定の単一の機能を持つ複数のニューラルネットワークを潜在空間に表現することが可能になったことから,潜在空間に表現されたニューラルネットワークの埋め込みベクトルをサンプリングすることにより,複数の機能を融合させた新たなニューラルネットワークの再構築を目指す.また,同時にニューラルネットワークが表現された潜在空間の特性を調査することにより,複数機能の融合における知見を得ることを目指す.

次年度使用額が生じた理由

初年度は、半導体の不足および円安のための物価の高騰、また、購入を予定していた計算機装置の新製品発売による生産中止などがあり、当初予定していた計算機装置の導入を翌年に見送った。また、対面参加を予定していた国際会議が急遽オンライン会議に会議自体が変更されてしまうなどがあり、次年度に使用額が生じた。

  • 研究成果

    (4件)

すべて 2023

すべて 学会発表 (4件) (うち国際学会 2件)

  • [学会発表] A Study on Developmental Artificial Neural Networks that Integrate Multiple Functions using Variational Autoencoder2023

    • 著者名/発表者名
      Haruka Iwai and Ichiro Kobayashi
    • 学会等名
      2023 10th International Conference on Soft Computing & Machine Intelligence (ISCMI2023)
    • 国際学会
  • [学会発表] A Study on a Developmental Artificial Neural Networks that enables the Transfer of Multiple Functions2023

    • 著者名/発表者名
      Haruka Iwai and Ichiro Kobayashi
    • 学会等名
      The 24th International Symposium on Advanced Intelligent Systems (ISIS2023)
    • 国際学会
  • [学会発表] 文法変分自己符号化器を用いた機能を融合する発達型人工神経回路網開発2023

    • 著者名/発表者名
      岩井遥、小林一郎
    • 学会等名
      2023 年 度人工知能学会全国大会(第37回)
  • [学会発表] 変分自己符号化器を用いた機能を融合する発達型人工神経回路網構築への取り組み2023

    • 著者名/発表者名
      岩井遥、小林一郎
    • 学会等名
      第39回ファジィシステムシンポジウム (FSS2023)

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi