| Project/Area Number |
21K12041
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Kyoto University (2022)
Institute of Physical and Chemical Research (2021) |
|---|
Principal Investigator |
瀧川 一学 京都大学, 国際高等教育院, 特定教授 (10374597)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2022: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2021: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
|
|---|
| Keywords | グラフ / 表現学習 / 機械学習 |
|---|
| Outline of Research at the Start |
分子のグラフ表現は生物活性や物性の予測、化学反応の予測や設計などで基本となるデータ表現である。本研究ではこのようなグラフ表現から所望のタスクに最適な潜在特徴量を学習するグラフ表現学習において、転移可能な良い汎用表現の事前学習および分子構造の階層的な構成性を反映できるモデル構造と自己教師ありの事前学習方式の設計の技術研究を行う。グラフ表現学習は近年GNNを用いた多くの研究があるものの先行成功例である画像や言語のような実用性は未達のままであり、現行GNNの基本方式であるメッセージパッシングに変わるTransformerによる方式を再設計し「転移性」「構成性」の獲得を実現を目指す。
|
| Outline of Annual Research Achievements |
本研究では、グラフの表現学習に「転移性」「構成性」を実現するための技術研究を行う。グラフ表現学習は近年GNNを用いた多くの研究報告があるものの、先行成功例である画像や言語のような実用性は未達のままである。本研究では、現行GNNの畳み込み操作を廃し、グラフ同様に非定型入力の言語タスクで有効な多層Transformerの自己教師あり学習による「転移性」の獲得を目指す。同時に、分子の「構成性」を反映できる深いモデル構造と自己教師あり事前学習タスクの設計を行う。
進展が非常に速い分野であり本年度はグラフ表現学習における事前学習/転移性の検証・調査とともに、Transformer型のGNNおよび幾何的学習・群作用同変な学習のアーキテクチャ設計の検証・調査も行った。特に、Materials Project, QQMD, AFLOWなどの大規模な無機化合物データベースを用いてTransformerに基づくモデルで事前学習を行い(formation energyを予測)、その事前学習タスクとは異なる実際の実験反応(RWGS反応)の400点弱のCO formation rateの予測評価により転移性を検証したところ、一定の良い結果が得られた。ここでは各構成要素となる元素を埋め込み表現の学習で獲得しその表現が帰納的バイアスとして有効であったと考えられる。また、構成性の検証については、分子構造を化学者が描画する際の構造補完をGNNに基づく分子グラフの生成モデルをバックエンドとして生成的に行う手法研究を引き続き行っており、実際にユーザがインタラクト可能なプロトタイプシステムも構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は後半に研究代表者の異動が起こったため、予算面の支出や機器調達の計画などには大きな影響があり見直しを迫られたものの、研究内容に関しては概ね計画していた検証を行い、一定の成果やさらに具体化された検証課題を得ることができた。
|
| Strategy for Future Research Activity |
転移性の研究としては、大規模に利用できる化合物構造のデータ、特に計算データ、を用いた事前学習を、コストや時間面の制約でサンプル数が少なくなる実問題の実験データへ転移できる学習・モデルについて引き続き研究を行う。また、本年度、分子の３次元構造についての大規模な計算データの検討を行ったため、GNNの進展に即して幾何的GNNやTransformerおよび群作用同変な学習について、大規模事前学習による転移性の検証を行う。構成性については、研究してきた分子構造自動補完のプロトタイプシステムが構築できたため、ユーザのログ情報を取得して強化学習で望ましい生成モデルを得る方法を研究する。生成モデルについても拡散モデルを用いるなど技術検証を進める。生成モデルを人間のsupervisionによって望ましい方向へ制御する方法は近年LHF(Learning from Human Feedback)としてChatGPTの学習制御を筆頭に研究が盛んになりつつあるテーマであり、新たな知見も随時検証していく予定である。
|
Report
(2 results)
Research Products
(32 results)
