Construction of a deep graph neural network that prevents over-smoothing
| Project/Area Number |
23K11241
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
猪口 明博 関西学院大学, 工学部, 教授 (70452456)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 機械学習 / 深層学習 / グラフニューラルネットワーク / 人工知能 |
|---|
| Outline of Research at the Start |
本研究の準備段階において，我々はGraph Convolutional Network（GCN）における以下のような性質を発見した．まず，各ノードがもつ特徴ベクトルは正規分布に従うと仮定し，GCN内の活性化関数は恒等関数であるとする．このとき，GCNにおいて畳み込まれた後の表現が従う分布は正規分布になる．これを，確率分布の再生性を用いて，数理的に証明した．畳み込み後の表現が従う分布に関する情報が得られたので，その性質を活用することで，多層に畳み込まれた表現を制御でき，Over-smoothingを防止できる可能性がある．本研究では，その制御法に関する手法を考案していく予定である．
|
| Outline of Annual Research Achievements |
本研究テーマでは，深層学習法の一分野であるグラフニューラルネットワーク（GNN）を対象としている．GNNでは，入力としてグラフの構造とその各ノードの特徴ベクトルが与えられる．その出力は各ノードの表現ベクトルであり，その表現ベクトルが，下流のタスクであるノード分類，リンク予測，グラフ分類などに用いられる．
従来のGNNでは，Over-smoothingの問題があった．Over-smoothingとはGNNの層数を増加させると表現の質が低下する現象であり，その結果として下流のタスクの性能が低下する．この現象を軽減すべく，我々は確率分布の再生性という性質に着目している．本年度は，これに基づく2つの手法を開発し，学会発表等で公開した．
1つ目は，Summarize-GNNと呼ぶ手法である．あるノードvのl層目の表現ベクトルをh(v,l)と書く．h(v,l)は従来のGNNでも計算可能なものである．Summarize-GNNでは，ノードvの表現h(v)をh(v,l)の重み付き線形和，つまh(v)=w(v,1)h(v,1)+w(v,2)h(v,2)+...+w(v,l)h(v,l)とし，w(v,l)をデータから学習する手法である．
2つ目は，DeepGATと呼ぶ手法である．Graph Attention Network (GAT)はGNNの1手法であり，DeepGATはそれを拡張した手法である．各層において，ノードがどのクラスに属するかを予測する．その予測に基づいて各ノードvに対して，隣接ノードのうち，どのノードの表現を畳み込むのかを決定する．
いずれの2手法も，確率分布の再生性に基づくと，層数を増やしたとき，各クラスに属するノードの表現の分散が小さくなることが，数理的に保障される．このため，分類性能の向上が望める手法であると言える．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Summarize-GNN，およびDeepGATともに，研究目標としていた，深層化されたグラフニューラルネットワークにおいてOver-smoothingを軽減できていることを，幾つかのベンチマークデータで実証できた．また，その性質を確率分布の再生性とともに数理的に示すことができた．このため，本研究は，概ね順調に進展していると言える．
|
| Strategy for Future Research Activity |
グラフの構造的性質をベクトル形式で表現する方法として，グラフスペクトルがある．グラフスペクトルの低周波成分は，グラフ内の2頂点間の，それらの周辺頂点を含めた，結びつきの強さとして解釈可能である．このグラフスペクトルの情報をグラフニューラルネットワークに組み入れた手法の開発は現時点において，それほどない．本年度は，グラフスペクトルとグラフニューラルネットワークの関連性に着目し，Over-smoothing現象を軽減する手法の開発を目指す．
|
Report
(1 results)
Research Products
(3 results)
