2021 Fiscal Year Research-status Report
| Project/Area Number |
21K12041
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
瀧川 一学 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (10374597)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | グラフ / 表現学習 |
|---|
| Outline of Annual Research Achievements |
本研究では、グラフの表現学習に「転移性」「構成性」を実現するための技術研究を行う。グラフ表現学習は近年GNNを用いた多くの研究報告があるものの、先行成功例である画像や言語のような実用性は未達のままである。本研究では、現行GNNの畳み込み操作を廃し、グラフ同様に非定型入力の言語タスクで有効な多層Transformerの自己教師あり学習による「転移性」の獲得を目指す。同時に、分子の「構成性」を反映できる深いモデル構造と自己教師あり事前学習タスクの設計を行う。
応募申請時から日進月歩で技術的な進展が報告されるトピックであり、本年度も事前学習やGNNの自己教師あり学習(SSL)について、さまざまな関係知見が発表され、また我々の検証でも具体的な知見が得られた。特に、応募申請時にはまだ未成熟な問題であったGNNとTransformerとの類似性について同時多発的に興味深い報告がなされた。TransformerのEncoder部分はComputer Vision領域でもViTとして非常に注目される技術となったが、構造としては与えられた複数の多次元特徴ベクトルを処理する汎用モジュールと見ることができる。実際、本年度は触媒活性の計算データOC20等を用いてTransformer Encoderの検証を行った。GNNに関しては初年度計画に沿って行った既存の知見を分析検討した知見を、招待講演や総説などとして多数報告することができた。また、従来、GNNではない標準的な機械学習で行ってきた触媒データの機械学習について、GNNとTransfomerを組み合わせたモデルの検証を行った。また分子生成タスクでのGNNに関しても探索問題として再定義することで分子グラフの自動補完を行う新たな枠組みを提案し国際ワークショップで発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度は既存の事前学習手法であるGROVERおよび多層GNN事前学習の分析と要素技術検討を行った。 GNNに関わる技術進展は非常に早く本年度も多数の関係する知見が機械学習コミュニティで発表・検証された。応募申請時には公開されていなかったGROVERに関しても採択論文の予告通り、githubにpytorch実装が公開され、またそれを比較に用いた論文もいくつか発表された。本年度はこれらの調査と解析および、こちらも進展が著しいグラフを入力とするTransformerやTransformer型のGNNについても調査や手法検証を行った。GNNの事前学習については自己教師あり学習が要と考えられており、自然言語処理を追って様々なSSLの事前学習タスクが提案されており調査と検証を行った。
|
| Strategy for Future Research Activity |
初年度に得られた分子に関わるGNNについて国際誌の依頼サーベイ論文を執筆中でありこの完成投稿を行う。また計画にそって、初年度の調査・検討で得られた知見やTransformerやGNNについての実装検証で得られた知見をもとに「転移性」「構成性」をさらに検証する具体的なモデルの検討を進める。Transformerに分子構造(特にグラフとみたときのトポロジ)を殿程度・どのように反映するか、3D構造が関与するタスクでのGeometric GNNにTransformerをどのように融合できるか、を中心に検討を行う。
|
| Causes of Carryover |
元々予定してた学会出張は新型コロナの影響で本年度もオンライン開催となったため、出張費で計上していた予算は次年度に繰り越すこととした。本年度も感染症の影響の様子をみながら出張費として支出する予定である。
|
