自然言語処理向け深層学習技術の応用によるプログラムの並列性抽出
| Project/Area Number |
22K11972
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60050:Software-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
置田 真生 大阪大学, 大学院情報科学研究科, 准教授 (50563988)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | 自動並列化 / Transformer / OpenMP / 文脈理解 / ソースコード解析 / 並列化ディレクティブ |
|---|
| Outline of Research at the Start |
本研究では，深層学習に基づく機械翻訳技術を応用して，C言語プログラムを自動的に並列化することを試みる．そのために，ソースコード解析技術と深層学習モデルを組み合わせて，プログラムに含まれる並列性・並列化可能性の抽出を実現する．具体的には，OpenMPプログラムに付与された並列化ディレクティブを正解ラベルとして深層学習モデルを訓練し，並列プログラムの構造・文脈を学習する教師あり学習手法を確立する．さらに，訓練した学習モデルを用いて，逐次のC言語プログラムにディレクティブを自動挿入するシステムの開発を目指す．
|
| Outline of Annual Research Achievements |
本研究の全体構想は，静的プログラム解析技術と自然言語処理向けの深層学習モデル（Transformer;以降，TX）を組み合わせて，並列プログラムの構造を学習する教師あり学習手法を開発し，プログラムに含まれる本質的な並列性・並列化可能性の抽出を実現することである．この構想の下，本研究では次の2つの目的の達成を目指している．(1)プログラムの並列性解析に適したTX向け表現形式の探求，および(2)TXを応用したOpenMP並列プログラムの自動生成．
令和5年度は，令和4年度から引き続き，目的(1)の研究を対象に，「TXはforループの並列化可能性を理解できるか？」という問いを探求した．令和4年度の成果は，OpenMP並列プログラムを学習データに用いてプログラミング言語向けの拡張を施したTXを訓練することで，高い適合率でforループの並列化可能性を判定できることを示した．しかし，TXの制約上1000トークンを越える長いプログラムを入力できないt点，および再現率が低く見落としが多い点の2つの課題があった．令和5年度は，まず，Recurrent Memory Transformer（以降，RMT）の技術を用いて我々のTXを拡張することで，前者の課題を解決した．次に，RMTが備えるメモリ機構の重要度を調整することで，高い適合率を保ったまま再現率を向上できることを発見した．結果，適当率と再現率ともに0.9を越える精度を達成し，TXがforループの並列化可能性を実用レベルで判定できる能力を持つことを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度に変更した研究計画に鑑みて，概ね順調に進展している．
変更後の研究計画では，令和5年度は主に(1)プログラムの並列性解析に適したTX向け表現形式の探求に取り組み，並行して年度の後半に(2)TXを応用したOpenMP並列プログラムの自動生成に取り組む予定であった．
前者については，「研究実績の概要」に示した通り，高い適当率と再現率の両立を達成でき，自動並列化のための表現形式を実用レベルで確立できたと考えている．
後者については，強化学習を組み合わせたOpenMP指示文の自動挿入に関する研究に着手した．最初のアイデアを実装して実験を繰り返している段階で，まだ実用的な結果を得られていない．引き続いての研究が必要である．
|
| Strategy for Future Research Activity |
令和6年度は，まず，令和4-5年度に取り組んだ研究（プログラムの並列性解析に適したTX向け表現形式の探求）について成果をまとめ，国際会議およびジャーナルでの発表を目指す．
次に，研究計画に従って，TXを応用したOpenMP並列プログラムの自動生成の研究に引き続き取り組む．具体的には，TXを用いたOpenMP指示文の生成と，強化学習あるいは遺伝的アルゴリズムを組み合わせ，信頼性が高くかつ高性能なループ自動並列化手法の確立を目指す．
|
Report
(2 results)
Research Products
(5 results)
