2023 Fiscal Year Research-status Report
Construction of a deep graph neural network that prevents over-smoothing
| Project/Area Number |
23K11241
|
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
猪口 明博 関西学院大学, 工学部, 教授 (70452456)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 機械学習 / 深層学習 / グラフニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究テーマでは，深層学習法の一分野であるグラフニューラルネットワーク（GNN）を対象としている．GNNでは，入力としてグラフの構造とその各ノードの特徴ベクトルが与えられる．その出力は各ノードの表現ベクトルであり，その表現ベクトルが，下流のタスクであるノード分類，リンク予測，グラフ分類などに用いられる．
従来のGNNでは，Over-smoothingの問題があった．Over-smoothingとはGNNの層数を増加させると表現の質が低下する現象であり，その結果として下流のタスクの性能が低下する．この現象を軽減すべく，我々は確率分布の再生性という性質に着目している．本年度は，これに基づく2つの手法を開発し，学会発表等で公開した．
1つ目は，Summarize-GNNと呼ぶ手法である．あるノードvのl層目の表現ベクトルをh(v,l)と書く．h(v,l)は従来のGNNでも計算可能なものである．Summarize-GNNでは，ノードvの表現h(v)をh(v,l)の重み付き線形和，つまh(v)=w(v,1)h(v,1)+w(v,2)h(v,2)+...+w(v,l)h(v,l)とし，w(v,l)をデータから学習する手法である．
2つ目は，DeepGATと呼ぶ手法である．Graph Attention Network (GAT)はGNNの1手法であり，DeepGATはそれを拡張した手法である．各層において，ノードがどのクラスに属するかを予測する．その予測に基づいて各ノードvに対して，隣接ノードのうち，どのノードの表現を畳み込むのかを決定する．
いずれの2手法も，確率分布の再生性に基づくと，層数を増やしたとき，各クラスに属するノードの表現の分散が小さくなることが，数理的に保障される．このため，分類性能の向上が望める手法であると言える．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Summarize-GNN，およびDeepGATともに，研究目標としていた，深層化されたグラフニューラルネットワークにおいてOver-smoothingを軽減できていることを，幾つかのベンチマークデータで実証できた．また，その性質を確率分布の再生性とともに数理的に示すことができた．このため，本研究は，概ね順調に進展していると言える．
|
| Strategy for Future Research Activity |
グラフの構造的性質をベクトル形式で表現する方法として，グラフスペクトルがある．グラフスペクトルの低周波成分は，グラフ内の2頂点間の，それらの周辺頂点を含めた，結びつきの強さとして解釈可能である．このグラフスペクトルの情報をグラフニューラルネットワークに組み入れた手法の開発は現時点において，それほどない．本年度は，グラフスペクトルとグラフニューラルネットワークの関連性に着目し，Over-smoothing現象を軽減する手法の開発を目指す．
|
| Causes of Carryover |
年度末に研究代表者を含め3名の学会発表を見込んでいた．しかし，1月頃，1名（学生）の学会出張が難しいことが分かり，その1名の出張を断念したため，次年度使用が生じた．
学会発表を見送った研究に関しては，2024年度も継続予定である．その成果が得られ次第，学会発表の準備を進め，繰越金を含めた本年度の旅費で学会発表する予定である．
|
Research Products
(3 results)
