| Project/Area Number |
21K17749
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60090:High performance computing-related
|
|---|
| Research Institution | The University of Tokyo (2022-2023)
National Institute of Advanced Industrial Science and Technology (2021) |
|---|
Principal Investigator |
金刺 宏樹 東京大学, 情報基盤センター, 特任研究員 (80889395)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | グラフ構造 / グラフ処理 / 特徴量抽出アルゴリズム / 深層学習 / 表現学習 / 推薦アルゴリズム / ハイパフォーマンス・コンピューティング / アルゴリズム / 複合メモリシステム |
|---|
| Outline of Research at the Start |
本研究では、大容量メモリ環境を想定したグラフ特徴量抽出アルゴリズムの性能モデリングと最適化を目的とする。頂点に固有の特徴量を計算するための複雑なグラフアルゴリズムが与えられた時に、メモリデバイスへのアクセスパターンの特性を把握した性能モデルを構築し、最適なグラフデータの分割と各メモリデバイスへの割り当て手法を提案するフレームワークを設計する。特に、ソーシャルネットワーク、金融取引ネットワークなど実世界の大規模グラフデータの中から特異な箇所を効率的に検出することを目標とする。
|
| Outline of Annual Research Achievements |
本年度は、昨年度と同様グラフニューラルネットワーク（GNN）モデルを中心としたグラフ表現学習の応用研究を進めた。研究の過程で、大規模言語モデル（LLM）を用いた自然言語が含まれたアプリケーションの普及、データの時間的変化やデータ構造の多様化に対応したマルチモーダルな表現学習モデルの必要性が高まっていることから、Transformer ベースのモデルなど他種のニューラルネットワークモデルとの連携にも取り掛かっている。
また、応用研究として、企業との共同研究から得られた実世界データに関する知見、社会的需要から、推薦システムを軸としたアプリケーション向けの手法・モデルを提案している。
道路交通分野では、ユーザが訪問する商店などのスポットを推薦する POI-recommendation において、スポット間の地理的位置だけでなく、時間的関係性、スポットのカテゴリをそれぞれグラフ構造として表現し、Graph Transformer ベースのモデルを提案した。また、求職者・求人間のジョブマッチング問題では、求職者が希望する求人のマッチングを最大化させるだけでなく、全体のマッチング数を長期的に向上させるために、求職者・求人の関係性を二部グラフとしたGNNモデルにおいて、データ拡張と強化学習による最適化を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
前年度はGNNモデル、グラフデータを対象としたモデル性能最適化の研究に集中していたが、今年度より本格的にLLMや Transformer など他データを扱うアプリケーションを含めたより応用的な研究を目指した。しかし、データ構造の違い、評価用データの不足、GPUクラスタなど大規模計算機環境への活用法がいまだ十分に確立できず、小規模なデータセット・環境において実現可能な手法を模索するにとどまった。
|
| Strategy for Future Research Activity |
今年度の反省から、次年度は、具体的なアプリケーションの要件とデータセット、計算機環境双方の特性を活かした機械学習モデルの設計と評価を重視した応用研究を進めていく。
特に、直接 GNN や LLM などのニューラルネットワークモデルに対し、データの規模や形状が合わない問題が多々あることから、データ拡張、対照学習などの手法を取り入れ、本来研究対象としていた長時系列グラフデータの表現学習、および推薦システムの具体的なアプリケーションと共通した最適化手法を提案する予定である。
|
