2023 Fiscal Year Research-status Report
大容量メモリ環境上のグラフ特徴量抽出アルゴリズムの性能最適化
| Project/Area Number |
21K17749
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
金刺 宏樹 東京大学, 情報基盤センター, 特任研究員 (80889395)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | グラフ構造 / グラフ処理 / 特徴量抽出アルゴリズム / 深層学習 / 表現学習 / 推薦アルゴリズム |
|---|
| Outline of Annual Research Achievements |
本年度は、昨年度と同様グラフニューラルネットワーク（GNN）モデルを中心としたグラフ表現学習の応用研究を進めた。研究の過程で、大規模言語モデル（LLM）を用いた自然言語が含まれたアプリケーションの普及、データの時間的変化やデータ構造の多様化に対応したマルチモーダルな表現学習モデルの必要性が高まっていることから、Transformer ベースのモデルなど他種のニューラルネットワークモデルとの連携にも取り掛かっている。
また、応用研究として、企業との共同研究から得られた実世界データに関する知見、社会的需要から、推薦システムを軸としたアプリケーション向けの手法・モデルを提案している。
道路交通分野では、ユーザが訪問する商店などのスポットを推薦する POI-recommendation において、スポット間の地理的位置だけでなく、時間的関係性、スポットのカテゴリをそれぞれグラフ構造として表現し、Graph Transformer ベースのモデルを提案した。また、求職者・求人間のジョブマッチング問題では、求職者が希望する求人のマッチングを最大化させるだけでなく、全体のマッチング数を長期的に向上させるために、求職者・求人の関係性を二部グラフとしたGNNモデルにおいて、データ拡張と強化学習による最適化を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
前年度はGNNモデル、グラフデータを対象としたモデル性能最適化の研究に集中していたが、今年度より本格的にLLMや Transformer など他データを扱うアプリケーションを含めたより応用的な研究を目指した。しかし、データ構造の違い、評価用データの不足、GPUクラスタなど大規模計算機環境への活用法がいまだ十分に確立できず、小規模なデータセット・環境において実現可能な手法を模索するにとどまった。
|
| Strategy for Future Research Activity |
今年度の反省から、次年度は、具体的なアプリケーションの要件とデータセット、計算機環境双方の特性を活かした機械学習モデルの設計と評価を重視した応用研究を進めていく。
特に、直接 GNN や LLM などのニューラルネットワークモデルに対し、データの規模や形状が合わない問題が多々あることから、データ拡張、対照学習などの手法を取り入れ、本来研究対象としていた長時系列グラフデータの表現学習、および推薦システムの具体的なアプリケーションと共通した最適化手法を提案する予定である。
|
| Causes of Carryover |
今年度は、学会発表の旅費支出が増えた一方、実験などで必要な計算機資源は所属研究機関で利用可能な範囲にほぼ収まったことから、大規模計算機環境の利用費などは予定よりも少なかった。次年度は多様なデータ、機械学習モデルをさらに網羅的に検証するための実験が増えることが予想されるため、必要に応じてスーパーコンピュータ等外部計算機資源を利用するための費用として使用する予定である。
|
