2022 Fiscal Year Research-status Report
大容量メモリ環境上のグラフ特徴量抽出アルゴリズムの性能最適化
| Project/Area Number |
21K17749
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
金刺 宏樹 東京大学, 情報基盤センター, 特任研究員 (80889395)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | グラフ構造 / グラフ処理 / 特徴量抽出アルゴリズム / 深層学習 / 表現学習 |
|---|
| Outline of Annual Research Achievements |
本年度は、昨年度に引き続きグラフニューラルネットワーク(GNN) モデルを活用した表現学習の応用研究を進め、特に専門領域に特化した技術的課題を解決するためのグラフ構造とGNNモデルの構築手法を探求した。金融領域においては、暗号通貨の取引ネットワークに内在する不正アカウントを検出するためのGNN モデルを比較検証し、取引ネットワークとGNNモデルへのヘテロジニアスなグラフ構造への拡張により、総合的なモデル性能の向上を達成した。
さらに他の分野においても、企業と共同研究を通じて、実世界アプリケーションの推薦システムを中心とした適切なグラフ構造や表現学習モデルの設計・構築を行っている。例えば、求職者と求人者間のジョブマッチング、道路交通システム上での観光スポットなどの提案、ユーザの閲覧履歴に基づいたニュースサイトの記事の推薦など、解くべき課題と利用可能なデータを踏まえた過程で最適なグラフ構造、表現学習モデルの設計構築を行っている。
理論面では、時系列で構造が動的に変化する大規模グラフ向けGNN モデルの研究を重点的に実施した。上記のような実世界アプリケーションで扱われているグラフデータは動的に変化するものが多く、特に長期的な変化の特徴・コンテキストを得るモデルが必要とされているが、従来のGNNモデルでは短期的な変化の特徴しか学習することができない。そこで、長期的に変化する動的グラフデータの特徴を把握するための Transformer ベースのモデルを提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度より、実世界アプリケーションへの適用に重きを置き、企業で実際に使用されているプライベートなデータやなオープンデータによるグラフ構造の構築設計、推薦タスクに適したグラフ表現学習の研究を進めている。企業との共同研究で利用可能なデータを用いて、GNNを用いた課題設定と可能性の評価を実施してきたが、これらの検証と考察に時間を要し、具体的なモデルの提案には至っていない。ただし、今年度末より国際学会への論文を数件投稿しており、現在採択待ちである。
また、本年度はGPUなど高性能計算環境を活用したランタイム性能面での研究が十分に行えなかったが、長時系列動的グラフデータの研究成果をもとに、大規模言語モデル (LLM) など他分野への応用研究も始めている。これに伴い、分散メモリシステムおよびマルチGPUを活用した、機械学習モデルの高速化、並列化の評価実験を進めている。
|
| Strategy for Future Research Activity |
次年度は、本年度より取り掛かり始めた長時系列のグラフデータを扱うグラフ表現学習と、実世界アプリケーションにて推薦タスクの基盤となるGNNモデルの問題抽出と提案、性能最適化に向けた研究を本格的に進めていく。技術面では、Transformerモデルを基にした長時系列のデータを処理するLLMの研究が広がった傾向を踏まえ、GNNモデルを軸としつつ、自然言語など時系列データを扱う Transformerから派生したモデルの知見を積極的に取り入れて研究を進めることに重点を置く予定である。
|
| Causes of Carryover |
今年度は、企業との共同研究に伴うプライベートデータおよびオープンデータの調査とグラフ構造・GNNモデルの設計と性能評価をメインに実施し、実験で使用した計算機環境の使用量が所属研究機関で保有している分にほぼ収まる結果となった。
しかし、次年度より利用可能な環境が制限され、また今後の研究推進方策でも述べたとおりマルチGPUなど大規模並列環境を頻繁に使用する機会が増えると見込まれるため、GPUデバイスの追加購入、スーパーコンピュータ等の使用料に充てる予定である。
|
