2023 Fiscal Year Research-status Report
低次機能を融合し高次機能を獲得する発達型人工神経回路網開発への挑戦
| Project/Area Number |
23K18489
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2023-06-30 – 2025-03-31
|
| Keywords | 文法変分自己符号化器 / 発達型人工神経回路網 / 転移学習 / 複数機能転移 |
|---|
| Outline of Annual Research Achievements |
従来の深層学習では，特定のタスクに対する学習によって得られたネットワークトポロジーを異なるタスクに対して転用する際，ファインチューニングや転移学習のように，新規タスクに最も適合が期待される単一の学習済みモデルを基礎として学習を行う．一方で生物はそれまでに獲得した複数の経験を抽象化を行い，知識として保持し，それらを組み合わせることで新たなタスクに適応することができる．これを実現するためには，獲得するネットワーク構造において，特定の機能を持つネットワークトポロジーの融合を可能にするアーキテクチャが必要となる．本研究ではネットワークの結合荷重ではなくトポロジーを進化的に獲得するWeight Agnostic Neural Networks(WANN)の枠組みを用いた．この得られたトポロジーを，生成規則の埋め込み表現を用いることで行列で表現し，これをGrammar Variational Autoencoder(GVAE)をベースにしたエンコーダーデコーダーモデルの入力として用いた．実験結果を通じて，個々のタスクを解決する複数のニューラルネットワークモデルを潜在空間に表現することができ，タスク間の関係性を捉えることが可能であることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Weight Agnostic Neural Networks(WANN)において，ネットワークトポロジーは入力と出力をランダムに直接結んだ最小のネットワークを初期集団として遺伝的アルゴリズムの枠組みで獲得する．より損失の値の低い個体が残留し，交叉や突然変異を繰り返すことにより改善されたネットワークを獲得した．ここでの突然変異は，sinやtanhといった活性化関数をもつノードを追加し，ノード間を結ぶエッジを追加し，ノードの活性化関数を変化させるの３種を設定した．このWANNを用いて特定の単一の機能を持つ複数のネットワーク構造を文法変分オートエンコーダを用いて，潜在空間上にそれぞれのネットワークを表現した．
この潜在空間上の表現を空間内の位置関係を考慮し、サンプリングすることで複数の異なる機能を融合した新たなニューラルネットワークを構築した．実験として、三種の色、赤、青、緑のそれぞれの色を識別する機能と、数字の0から9までを識別する機能のニューラルネットワークを，WANNを通じて発達させたそれぞれ960個のネットワークを文法変文オートエンコーダに入力し潜在空間内での個々のネットワークの分布を確認したところ，それぞれの機能ごとに偏った分布が形成されていることを確認した．これにより，機能を融合するネットワークをサンプリングするためには，それら偏った分布の中間位置などから潜在表現をサンプリングし，複数機能が追加されたネットワークが構築されているかを検証する土台を構築した．
|
| Strategy for Future Research Activity |
特定の単一の機能を持つ複数のニューラルネットワークを潜在空間に表現することが可能になったことから，潜在空間に表現されたニューラルネットワークの埋め込みベクトルをサンプリングすることにより，複数の機能を融合させた新たなニューラルネットワークの再構築を目指す．また，同時にニューラルネットワークが表現された潜在空間の特性を調査することにより，複数機能の融合における知見を得ることを目指す．
|
| Causes of Carryover |
初年度は、半導体の不足および円安のための物価の高騰、また、購入を予定していた計算機装置の新製品発売による生産中止などがあり、当初予定していた計算機装置の導入を翌年に見送った。また、対面参加を予定していた国際会議が急遽オンライン会議に会議自体が変更されてしまうなどがあり、次年度に使用額が生じた。
|
