遺伝子ネットワークの変異ロバスト性およびホメオスタシスをもとにした機械学習の汎化

2021 年度 実施状況報告書

• 研究課題/領域番号: 21K12059
• 研究機関: 京都大学
• 研究代表者: 市瀬 夏洋 京都大学, 情報学研究科, 特定准教授 (70302750)
• 研究期間 (年度): 2021-04-01 – 2026-03-31
• キーワード: 機械学習 / ニューラルネットワーク / 遺伝子ネットワーク / 汎化 / ロバスト性

研究実績の概要

本研究の目的は、機械学習に遺伝子ネットワークが持つ変異ロバスト性やホメオスタシスの特徴を導入し、汎化能力の向上に有効であるかを検証することである。変異ロバスト性とはＤＮＡ配列の変異に起因するネットワーク破壊に対するロバスト性であり、ホメオスタシスとは生体内外からのノイズに対して一定の状態を保つ能力である。変異ロバスト性とホメオスタシスは遺伝子ネットワークの構造に対してトレードオフの関係にある。リアルワールドネットワークはしばしばスケールフリー構造を有することが知られている。遺伝子ネットワークはスケールフリーとはやや異なる独特な構造を有している。すなわち出力の結合のみを見るとスケールフリー構造を有しているが、入力の結合はランダムグラフ構造となっている。この入出力の非対称性が強い場合は変異ロバスト性が、弱い場合はホメオスタシスが優位となる。

本研究の問いは遺伝子ネットワークに見られる非対称構造が、ニューラルネットワークにおいてもその有効性を発揮するかということである。ニューラルネットワークでは通常全結合のネットワークが用いられる。他方、遺伝子ネットワークは本質的にスパースなネットワークである。全結合では入出力の非対称性は現れない。従って、ニューラルネットワークをスパース化した場合にどのような構造が汎化に優位かを検証すると共にその理論的背景を探る。本研究の意義は、研究課題の成果が得られればニューラルネットワークのスパース化が達成されると共に、汎化に関する理論的保証が得られることである。特に深層学習では大規模なニューラルネットワークが用いられているため、スパース化が達成されることにより学習時間の大幅な短縮が可能となると共にビッグデータに対する汎化能をももたらし得る。２０２１年度は特にネットワーク構造に対する変異ロバスト性とホメオスタシスの評価方法について検討した。

現在までの達成度 (区分)

3: やや遅れている

理由

現在までに与えられたネットワーク構造に対して変異ロバスト性とホメオスタシスの強度を評価する方法について検討している。変異ロバスト性とホメオスタシスは共にネットワークダイナミクスにロバスト性を与えるものである。しかしながら、変異ロバスト性はいわば「固い」ロバスト性であるのに対して、ホメオスタシスは「柔軟な」ロバスト性であり、それぞれを評価する方法は必然的に異なる。変異ロバスト性は摂動に対して変化しない性質であるため、従来型のロバスト性の評価方法が直接的に適応できる。他方、ホメオスタシスは摂動によってネットワークの状態が変化したとしても、特定の状態に回帰する特性である。この「変化はするが回帰する」という特性は時間的な変化が伴うため、ネットワークの状態の静的な解析ではその評価が困難である。そこでネットワークの状態遷移の前後で状態のエントロピーを比較するという手法を提案し、実際の遺伝子ネットワークで評価することを行った。

現在、変異ロバスト性とホメオスタシスを胚形成時の遺伝子ネットワークにおいて評価することを述べた論文を執筆中である。本論文には胚形成など生物の発生に関する知識が必要であるため、生物学者との議論を行っている。特に理論的な結果と生物学的な前提の間にまだ乖離が見られるため、時間の多くを内容の議論にあてている状況である。現在の世情として対面での議論が困難であるため、執筆状況にはやや遅れが出ている。

今後の研究の推進方策

現在までにネットワーク構造に対して変異ロバスト性とホメオスタシスを評価する方法を得た。今後の研究としては、1)変異ロバスト性とホメオスタシスの汎化能力との関係、2)多層構造を持つネットワークでのロバスト正則化、3)リカレントネットワークにおける平衡点学習を主に行う予定である。2)および3)に関しては予備的な研究を行ってる。そこで得た傾向は1)に関連するものであり、多層ネットワークとリカレントネットワークでは変異ロバスト性やホメオスタシスから得られるネットワークの汎化能力への影響が異なるのではないかということである。汎化とはいわば入力情報を要約する能力である。ホメオスタシスの評価として状態遷移前後のエントロピーの比較を導入しているが、汎化に関して言えば遷移後のエントロピーは低い(すなわち要約される)方が有利である。他方、リカレントネットワークでは平衡点を学習し、それぞれの平衡点を情報として出力する方式を取っている。この場合、入力情報を引き込む平衡点の引き込み領域の広さが汎化に影響する。ホメオスタシスの解析として遷移後のエントロピーは高い方が引き込み領域は広いため、多層ネットワークとリカレントネットワークでは汎化能力が背反する結果となっている。

そこで1)の理論的課題として、特に多層ネットワークとリカレントネットワークの汎化能力に分けて、変異ロバスト性とホメオスタシスとの関係を検討して行きたい。当初計画としては1)においては従来より検討されている汎化の評価方法(情報量基準等)と変異ロバスト性およびホメオスタシスとの関係を探るものであったが、多層ネットワークとリカレントネットワークでは何故汎化能力が異なるのか、および両者の関係について加えて検討したい。1)により得られた結果を2)の多層ネットワーク、3)のリカレントネットワークの研究に反映する。

次年度使用額が生じた理由

現在の世情により学会参加を差し控えたため、当初計画していた旅費支出がゼロとなった。当初使用計画に加え、今後の使用計画としては状況により学会参加を増やすこと、あるいは研究および議論に必要なネットワーク機器の整備にあてる予定である。