| Project/Area Number |
23K18489
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Project Period (FY) |
2023-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
|
|---|
| Keywords | 文法変分自己符号化器 / 発達型人工神経回路網 / 転移学習 / 複数機能転移 / 文法変文オートエンコーダ |
|---|
| Outline of Research at the Start |
本研究では、このような生物における知能の発達を参考にし、現在の深層学習による学習方式とは異なる脳内情報処理機構を模倣した発達型人工神経回路網モデルを開発する．モデルの発達過程を具体的に示すため、低次の機能（ここでは特定の単一の課題を解くことができる機能とする）の組合せから高次の機能（単一の機能を組み合わせからなる機能とする）を獲得し成長する例を取り上げ、3つの重要な脳内情報処理特徴：(I)脳内領野の機能表現、(II) 低次から高次への抽象化による情報表現、(III) 領野の連関処理による高次機能の実現、を有する課題の処理を実現する発達型人工神経回路網モデルの開発に挑戦する．
|
| Outline of Annual Research Achievements |
従来の深層学習では，特定のタスクに対する学習によって得られたネットワークトポロジーを異なるタスクに対して転用する際，ファインチューニングや転移学習のように，新規タスクに最も適合が期待される単一の学習済みモデルを基礎として学習を行う．一方で生物はそれまでに獲得した複数の経験を抽象化を行い，知識として保持し，それらを組み合わせることで新たなタスクに適応することができる．これを実現するためには，獲得するネットワーク構造において，特定の機能を持つネットワークトポロジーの融合を可能にするアーキテクチャが必要となる．本研究ではネットワークの結合荷重ではなくトポロジーを進化的に獲得するWeight Agnostic Neural Networks(WANN)の枠組みを用いた．この得られたトポロジーを，生成規則の埋め込み表現を用いることで行列で表現し，これをGrammar Variational Autoencoder(GVAE)をベースにしたエンコーダーデコーダーモデルの入力として用いた．実験結果を通じて，個々のタスクを解決する複数のニューラルネットワークモデルを潜在空間に表現することができ，タスク間の関係性を捉えることが可能であることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Weight Agnostic Neural Networks(WANN)において，ネットワークトポロジーは入力と出力をランダムに直接結んだ最小のネットワークを初期集団として遺伝的アルゴリズムの枠組みで獲得する．より損失の値の低い個体が残留し，交叉や突然変異を繰り返すことにより改善されたネットワークを獲得した．ここでの突然変異は，sinやtanhといった活性化関数をもつノードを追加し，ノード間を結ぶエッジを追加し，ノードの活性化関数を変化させるの３種を設定した．このWANNを用いて特定の単一の機能を持つ複数のネットワーク構造を文法変分オートエンコーダを用いて，潜在空間上にそれぞれのネットワークを表現した．
この潜在空間上の表現を空間内の位置関係を考慮し、サンプリングすることで複数の異なる機能を融合した新たなニューラルネットワークを構築した．実験として、三種の色、赤、青、緑のそれぞれの色を識別する機能と、数字の0から9までを識別する機能のニューラルネットワークを，WANNを通じて発達させたそれぞれ960個のネットワークを文法変文オートエンコーダに入力し潜在空間内での個々のネットワークの分布を確認したところ，それぞれの機能ごとに偏った分布が形成されていることを確認した．これにより，機能を融合するネットワークをサンプリングするためには，それら偏った分布の中間位置などから潜在表現をサンプリングし，複数機能が追加されたネットワークが構築されているかを検証する土台を構築した．
|
| Strategy for Future Research Activity |
特定の単一の機能を持つ複数のニューラルネットワークを潜在空間に表現することが可能になったことから，潜在空間に表現されたニューラルネットワークの埋め込みベクトルをサンプリングすることにより，複数の機能を融合させた新たなニューラルネットワークの再構築を目指す．また，同時にニューラルネットワークが表現された潜在空間の特性を調査することにより，複数機能の融合における知見を得ることを目指す．
|
