2023 Fiscal Year Research-status Report
自然言語処理向け深層学習技術の応用によるプログラムの並列性抽出
| Project/Area Number |
22K11972
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
置田 真生 大阪大学, 大学院情報科学研究科, 准教授 (50563988)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 自動並列化 / Transformer / OpenMP |
|---|
| Outline of Annual Research Achievements |
本研究の全体構想は，静的プログラム解析技術と自然言語処理向けの深層学習モデル（Transformer;以降，TX）を組み合わせて，並列プログラムの構造を学習する教師あり学習手法を開発し，プログラムに含まれる本質的な並列性・並列化可能性の抽出を実現することである．この構想の下，本研究では次の2つの目的の達成を目指している．(1)プログラムの並列性解析に適したTX向け表現形式の探求，および(2)TXを応用したOpenMP並列プログラムの自動生成．
令和5年度は，令和4年度から引き続き，目的(1)の研究を対象に，「TXはforループの並列化可能性を理解できるか？」という問いを探求した．令和4年度の成果は，OpenMP並列プログラムを学習データに用いてプログラミング言語向けの拡張を施したTXを訓練することで，高い適合率でforループの並列化可能性を判定できることを示した．しかし，TXの制約上1000トークンを越える長いプログラムを入力できないt点，および再現率が低く見落としが多い点の2つの課題があった．令和5年度は，まず，Recurrent Memory Transformer（以降，RMT）の技術を用いて我々のTXを拡張することで，前者の課題を解決した．次に，RMTが備えるメモリ機構の重要度を調整することで，高い適合率を保ったまま再現率を向上できることを発見した．結果，適当率と再現率ともに0.9を越える精度を達成し，TXがforループの並列化可能性を実用レベルで判定できる能力を持つことを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度に変更した研究計画に鑑みて，概ね順調に進展している．
変更後の研究計画では，令和5年度は主に(1)プログラムの並列性解析に適したTX向け表現形式の探求に取り組み，並行して年度の後半に(2)TXを応用したOpenMP並列プログラムの自動生成に取り組む予定であった．
前者については，「研究実績の概要」に示した通り，高い適当率と再現率の両立を達成でき，自動並列化のための表現形式を実用レベルで確立できたと考えている．
後者については，強化学習を組み合わせたOpenMP指示文の自動挿入に関する研究に着手した．最初のアイデアを実装して実験を繰り返している段階で，まだ実用的な結果を得られていない．引き続いての研究が必要である．
|
| Strategy for Future Research Activity |
令和6年度は，まず，令和4-5年度に取り組んだ研究（プログラムの並列性解析に適したTX向け表現形式の探求）について成果をまとめ，国際会議およびジャーナルでの発表を目指す．
次に，研究計画に従って，TXを応用したOpenMP並列プログラムの自動生成の研究に引き続き取り組む．具体的には，TXを用いたOpenMP指示文の生成と，強化学習あるいは遺伝的アルゴリズムを組み合わせ，信頼性が高くかつ高性能なループ自動並列化手法の確立を目指す．
|
| Causes of Carryover |
次年度使用額の主な理由は，NVIDIA社が発表するGPU開発ロードマップを鑑みて費用対効果のより高いGPUを利用するために，実験用GPUサーバの購入を令和6年度に見送ったためである．令和6年度の早い時期に実験用GPUサーバを購入し，研究遂行のための実験を加速する予定である．あるいは必要に応じて，複数のGPUを個別に購入し，既存のGPUサーバに組み入れて利用することも検討している．
|
