| Project/Area Number |
21K12041
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Kyoto University (2022-2023)
Institute of Physical and Chemical Research (2021) |
|---|
Principal Investigator |
瀧川 一学 京都大学, 国際高等教育院, 特定教授 (10374597)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2022: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2021: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
|
|---|
| Keywords | 機械学習 / グラフ / 表現学習 |
|---|
| Outline of Research at the Start |
分子のグラフ表現は生物活性や物性の予測、化学反応の予測や設計などで基本となるデータ表現である。本研究ではこのようなグラフ表現から所望のタスクに最適な潜在特徴量を学習するグラフ表現学習において、転移可能な良い汎用表現の事前学習および分子構造の階層的な構成性を反映できるモデル構造と自己教師ありの事前学習方式の設計の技術研究を行う。グラフ表現学習は近年GNNを用いた多くの研究があるものの先行成功例である画像や言語のような実用性は未達のままであり、現行GNNの基本方式であるメッセージパッシングに変わるTransformerによる方式を再設計し「転移性」「構成性」の獲得を実現を目指す。
|
| Outline of Annual Research Achievements |
本年度の研究実績の概要は以下の通りである。
(i) 標準的なグラフ畳み込み操作によるグラフニューラルネットワーク(GNN)について、畳み込みネットワーク(CNN)やTransformerなど画像や言語処理で成功を収めているアーキテクチャとの比較的検証により、Graph TransformerとGNNの設計パターン(特に深層化、スキップ接続、グラフ正規化)について本年度は様々な発展が見られた。本課題で主として念頭に置いている分子科学データにおいても、この技術的進展・知見を反映することで、実データでの予測モデルの分析・改良を行った。この際、CNNで開発されてきた様々な技巧を総括評価しVision Transformerに比する精度実現に至ったConvNextの知見を参考にGNNの設計についても様々な技法を総合的に評価する土台が得られた。
(ii) グラフデータにおいて、各頂点に3次元座標を伴う幾何的制約の考慮が必要な幾何グラフに対する予測タスクについて、幾何代数に基づく表現に基づいてニューラルネットワークを構成することで自然な幾何的制約を効果的に扱うことができると言う新たな知見に基づき、方法の分析・検討を行った。また、主にN粒子系の時系列変化を予測するGNS法についてユークリッド群同変性を導入する技術的検証を行った。
(iii) グラフニューラルネットワークを用いて時間ダイナミクスのシミュレーションを行うGNS法に基づいて細胞の自己組織化過程の学習を行い検証した。この予備的結果について専門誌への投稿を行い論文として出版した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
機械学習分野において、Graph Transformerや3次元の変換群同変性の扱いの研究に技術的な進展が見られたため、その知見の検証と評価を行うことで、モデル設計や学習制御について一定の理解が得られた。また、代表者の所属変更により新たな研究者との連携も得られるなど、進捗としてはまずまず順調に進んでいると考えられる。
|
| Strategy for Future Research Activity |
本年度は最終年度であり、研究期間に得られた成果を出版に向けて総括するとともに、今後の課題の整理を行う。具体的には下記の研究計画で研究を行う予定である。
(i) N粒子系の時間変動の機械学習シミュレーションの方法であるGNS法のベースモデルでE(3)同変性を幾何代数表現に基づく方法で考慮するモデルのプロトタイプ構築を行い、実際のN-粒子系シミュレーションデータ、分子動力学データ、化学反応経路データなどの実データでモデルの精度検証を行う。
(ii) Graph Transformerの系譜を含めて、深層グラフニューラルネットワークの実践的設計パターンについて、さらに一般的に検証を行う。特にスキップ接続の効果、グラフ正規化層の設計と効果、グラフプーリングの評価などを系統的に行い、画像をグラフと見た場合の評価も含めて実験的に検証を行う。
(iii) 研究期間の初期に得られた分子グラフ描画におけるグラフ自動補完について、機械学習システムと使用者であるユーザとのインタラクションをML-Human Interactionの問題としてさらに探求する。機械学習システムを実際にユーザが利用する状況で、考慮すべき機械学習システムの振る舞いについて理解を進める。
|
