Reconfigurable neural network processor with flexible-granularity parallelism
| Project/Area Number |
23K16856
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
安藤 洸太 北海道大学, 情報科学研究院, 准教授 (20855324)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2027: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2026: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2025: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 再構成型プロセッサ / 再構成可能プロセッサ / ニューラルネットワーク / メモリシステム / 並列処理 / 動的再構成 |
|---|
| Outline of Research at the Start |
ニューラルネットワーク（ＮＮ）を高効率に処理する並列プロセッサが多数提案されているが、近年のＮＮモデル構造の多様化により、積和演算を行う乗算アキュムレータを並列化したこれまで主流の形式が最適とは限らなくなった。不規則な接続を持つモデル等、ＮＮ構造をそのままハードウェア実現する全展開型が優れる場合がある。本研究では、処理ユニット内部の接続やメモリの役割を切り替えることによってデータフローを可変とする再構成型アーキテクチャとそのマッピングアルゴリズムの提案を通し、種々の並列機構に内在する共通の計算構造を明らかにし、並列性を任意に選択可能な新たな並列処理機構の可能性を提示することを目指す。
|
| Outline of Annual Research Achievements |
ニューラルネットワーク（NN）推論処理は規則的データパタンを有する積和演算であるが、モデルごとや単一モデル内であっても層ごとに規則性が異なっており、それらに広く対応する並列プロセッサを実現することが効率化の鍵であった。近年においてNN層構造の多様化は一層進んでおり、従来のように単一構造の積和演算の並列化のみでは全体通しての効率を求めることが難しくなった。そこで、本研究ではこのNN層に内在する並列性を任意に選んで用いることのできる再構成型並列プロセッサを検討してきた。本年度はまず従来の並列乗算アキュムレータ型アーキテクチャを出発点とし、NN層の入力・出力・部分和のそれぞれを逐次処理・並列処理のどの部分にマップするかを、演算器にデータを供給するメモリを起点として整理した結果、各演算機内のローカルメモリと乗算・加算器、レジスタの接続のみを切り替えることで多くの並列性に対応可能なアーキテクチャを考えるに至った。それぞれの並列性（トポロジ・ステーショナリティ）の選択によってメモリ要求バンド幅・平均アクセス間隔・データ再利用性（算術強度）を作為的に制御することが可能となり、NN層とハードウェア制約を考慮した最適制御によりそれぞれの処理フェーズにおいて演算器の占有率向上が期待される。併せて、連続した複数層の処理に際してのメモリ上でのデータ形式の一貫性（単一モデル内での総合効率の向上のために必要）を保ちつつ、制御の複雑性を高めないため、個別のローカルメモリをまとめて制御可能なデータパタンを見出した。この結果をまとめ、現在国内外の発表を準備中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
レジスタ接続を可変とすることによる可変並列性アーキテクチャの検討が初年度の計画であった。これに関して、１層分の処理に関してのみ複数のデータフローに対応できることをシミュレーションで確認しており、順調に進行しているといえる。さらに、これが連続処理で一貫性を保つ（これはニューラルネットワークの単一モデル内でトポロジが異なることに対応するための必要条件である）方法を提唱中であるため、可変並列性アーキテクチャの一提案としては想定以上に進展したといえる。一方、これを実際に任意のモデルで使用するためのソフトウェアスタック（現状は制御パラメータを手動計算した）、スパース係数・スキップコネクション・アテンション等の近代的NNの構成要素への対応、ならびにレジスタ可変以外の方法による可変並列性・動的再構成技術については未完であるため、この評価とした。
|
| Strategy for Future Research Activity |
実際のニューラルネットワーク（NN）のアプリケーションを想定したハードウェア実装・検討を進め、性能評価を行う。またPyTorch等のNN学習フレームワークの学習結果やONNXなどの共通形式を入力として自動的に最適な並列性とその制御パラメータを設定するコンバータ・マッピングアルゴリズムを含めたソフトウェアスタックの検討を開始する。層ごと・処理ごとに異なる要求バンド幅等に応じてハードウェア資源を配当するアルゴリズムの確立には、これまでに得られている並列アーキテクチャと典型的NN層構造の理論的定式化が必要である。先述の通り異なる並列性選択の間でデータ構造の一貫性を保つ検討が完成しつつあるため、次段階として異なる並列性を含む複数層を連続動作させるための動的再構成アーキテクチャへ発展させる。
これと並行し、スパース係数・アテンション等の近代的NN構成要素に対応するためのハードウェア必要条件を探索する。ここには制御の容易性と実効効率（ハードウェア占有率）のトレードオフが存在し、一般に複雑な制御が必要な部分を逐次処理に追いやって並列プロセッサの占有率を保つ方策が考えられる。これは並列性・トポロジをレジスタ・メモリ接続の動的に制御する本方式と相性が良いと考えられるが、ここまで検討したレジスタ接続可変方式以外の可変並列性アーキテクチャの可能性も除外しない。
|
Report
(1 results)
Research Products
(2 results)
