2022 Fiscal Year Research-status Report
| Project/Area Number |
21K12041
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
瀧川 一学 京都大学, 国際高等教育院, 特定教授 (10374597)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | グラフ / 表現学習 |
|---|
| Outline of Annual Research Achievements |
本研究では、グラフの表現学習に「転移性」「構成性」を実現するための技術研究を行う。グラフ表現学習は近年GNNを用いた多くの研究報告があるものの、先行成功例である画像や言語のような実用性は未達のままである。本研究では、現行GNNの畳み込み操作を廃し、グラフ同様に非定型入力の言語タスクで有効な多層Transformerの自己教師あり学習による「転移性」の獲得を目指す。同時に、分子の「構成性」を反映できる深いモデル構造と自己教師あり事前学習タスクの設計を行う。
進展が非常に速い分野であり本年度はグラフ表現学習における事前学習/転移性の検証・調査とともに、Transformer型のGNNおよび幾何的学習・群作用同変な学習のアーキテクチャ設計の検証・調査も行った。特に、Materials Project, QQMD, AFLOWなどの大規模な無機化合物データベースを用いてTransformerに基づくモデルで事前学習を行い(formation energyを予測)、その事前学習タスクとは異なる実際の実験反応(RWGS反応)の400点弱のCO formation rateの予測評価により転移性を検証したところ、一定の良い結果が得られた。ここでは各構成要素となる元素を埋め込み表現の学習で獲得しその表現が帰納的バイアスとして有効であったと考えられる。また、構成性の検証については、分子構造を化学者が描画する際の構造補完をGNNに基づく分子グラフの生成モデルをバックエンドとして生成的に行う手法研究を引き続き行っており、実際にユーザがインタラクト可能なプロトタイプシステムも構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は後半に研究代表者の異動が起こったため、予算面の支出や機器調達の計画などには大きな影響があり見直しを迫られたものの、研究内容に関しては概ね計画していた検証を行い、一定の成果やさらに具体化された検証課題を得ることができた。
|
| Strategy for Future Research Activity |
転移性の研究としては、大規模に利用できる化合物構造のデータ、特に計算データ、を用いた事前学習を、コストや時間面の制約でサンプル数が少なくなる実問題の実験データへ転移できる学習・モデルについて引き続き研究を行う。また、本年度、分子の３次元構造についての大規模な計算データの検討を行ったため、GNNの進展に即して幾何的GNNやTransformerおよび群作用同変な学習について、大規模事前学習による転移性の検証を行う。構成性については、研究してきた分子構造自動補完のプロトタイプシステムが構築できたため、ユーザのログ情報を取得して強化学習で望ましい生成モデルを得る方法を研究する。生成モデルについても拡散モデルを用いるなど技術検証を進める。生成モデルを人間のsupervisionによって望ましい方向へ制御する方法は近年LHF(Learning from Human Feedback)としてChatGPTの学習制御を筆頭に研究が盛んになりつつあるテーマであり、新たな知見も随時検証していく予定である。
|
| Causes of Carryover |
本年度途中のに研究代表者の年度内の異動が生じたため、本年度調達していた計算機などの調達を次年度に見直したため。次年度に計算機設置環境が準備でき次第、計画の計算機調達で支出する予定である。
|
