Generalization of machine learning based on mutational robustness and homeostasis of gene regulatory networks

2023 Fiscal Year Research-status Report

• Project/Area Number: 21K12059
• Research Institution: Kyoto Women's University
• Principal Investigator: 市瀬 夏洋 京都女子大学, データサイエンス学部, 教授 (70302750)
• Project Period (FY): 2021-04-01 – 2026-03-31
• Keywords: ネットワークロバスト性 / 遺伝子ネットワーク / ニューラルネットワーク / リカレントネットワーク / 概念形成

Outline of Annual Research Achievements

平衡点学習について概念形成との関連を考察し、一般的なデータにおける平衡点形成の実験を行った。平衡点学習とは、リカンレントネットワークにおいてその挙動が平衡点となるように機械学習する方法である。ニューラルネットワークにおける自己連想記憶モデルと同等の機構であるが、機械学習におけるリカレントネットワークと同様に機械学習時にはリカレント構造を展開しフィードフォワードネットワークによって学習を行える。
概念形成は、人間がある特定の事物に対する概念を獲得する仕組みであり、それは多くの場合、複雑で多様な情報や経験から抽象化された概念を形成する過程を指す。例えば、猫の個体はそれぞれ異なる形状や特性を持つが、それらを一つの「猫」というカテゴリーとして認識し、抽象化する。このような抽象化は、私たちが新しい情報を処理し、理解する上で重要な役割を果たす。
他方、平衡点学習においては、リカレントネットワークの平衡点が一つの概念に対応する。つまり、リカレントネットワークの状態が平衡点に近い場合、その平衡点に引き込まれるように動作する。この現象は、概念想起の過程に類似している。私たちは経験や情報を通じて様々な状態や要素を学習し、それらを特定の概念に関連付けることで、新しい知識や理解を獲得する。平衡点学習においては、平衡点に引き込まれる状態のセットとして、概念に対応する個々の事物を対応させることによって概念形成をモデル化し得る。
一般的なテストデータを学習することによって、識別とは別の機能として、リカレントネットワークの平衡点およびその引き込み領域として類似データ(カテゴリー)のセットが獲得されることを示した。これは平衡点学習が概念形成の一つのモデルとして有効であることを示唆する。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

平衡点学習のデータとして、画像とそのカテゴリーからなる入出力データを用いた (たとえばMNIST, Fashion MNIST等)。フィードフォワードネットワークの一部の層をリカレントとすることで、平衡点学習を行った。すなわち、入出力としてはデータの画像・カテゴリーが対応するが、中間層にあるリカレントネットワークにおいて各データに対応する平衡点を獲得するように学習が行われる。出力にカテゴリーが示されているので、その時点で概念を形成していることになる。さらに中間層のリカレントネットワークにおいては、そのカテゴリーよりも細分化された平衡点を獲得した。つまり、細分化された概念を自動的に獲得したということになる。また、出力に与えるカテゴリーを恣意的に統合して学習、すなわち概念として混合された状態において学習しても、中間層のリカレントネットワークにおいては、もとのカテゴリーに細分化された平衡点が学習されることを示した。

Strategy for Future Research Activity

平衡点学習において自己符号化学習においても概念に対応する平衡点が学習できるのか、および平衡点学習に遺伝子ネットワークのロバスト性・ホメオスタシスの知見を導入して学習することを行う。これまでは、ネットワークの出力としてカテゴリーを直接与えていた。入力と出力が同一となるような自己符号化によっても類似の入力に対する概念として平衡点が獲得できるのかを試す。これにより、クラスタリングの一手法が提案できるのみならず、平衡点学習が初期の概念形成のモデルとして有効であることが示される可能性がある。また、平衡点に引き込まれる状態のセットは、ネットワークのロバスト性やホメオスタシスに大きく影響を受けることが予想される。平衡点学習においてロバスト性を高める(あるいは低くする)正則化を導入した場合の引き込み領域の変化について検討する。