2023 Fiscal Year Research-status Report
| Project/Area Number |
22K11956
|
|---|
| Research Institution | Kumamoto University |
|---|
Principal Investigator |
尼崎 太樹 熊本大学, 大学院先端科学研究部(工), 教授 (50467974)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
木山 真人 熊本大学, 大学院先端科学研究部(工), 助教 (30363534)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | DNNコンパイラ / NVAR Mixer |
|---|
| Outline of Annual Research Achievements |
高い処理能力や大規模メモリを前提とした従来の計算原理とは異なり，多様化するAIモデルに柔軟に対応できるエッジAI端末，および設計プラットフォームを含めたのエッジAI向け設計基盤技術確立を目的とした．2023年度はエッジAI向けのDNNモデル開発およびDNNコンパイラ開発を行った．DNNモデルにおいては，従来のCNN（Convolutional Neural Network）とは異なる形で，リザバーコンピューティングモデルの数学的等価モデルであるNVAR（非線形ベクトル自己回帰）をベースとした混合型モデルを提案し，その評価を行った（このモデルをNVAR-Mixerとよぶ）．本モデルではオーバーラップパッチ埋め込みを適用し，Mixer型NVARの内部で垂直方向と水平方向の操作を行うためにシーケンサーアーキテクチャを適用した．提案モデルの性能を向上させるために，ウィンドウ分割技術と一般的な2次位置エンコーディングを採用した．提案モデルは，0.159MパラメータのCIFAR-10データセットに対して分類精度82.48%，0.106MパラメータのMNISTに対して分類精度98.36%のトップ1精度を達成した．さらに，CPUでのスループットを評価したところ，CIFAR-10データセットでは190.1画像/秒，MNISTデータセットでは106.7画像/秒であった．これらの認識精度は，最新の畳み込みニューラルネットワークベースのモデルであるMLP-Mixerや，ハイパーパラメータを同じチューニングにした従来のリザーバーコンピューティングベースのMixerモデルと競合するものである．また，DNNコンパイラにおいてはPytorchで開発したAIモデルをXilinx Vitis（高位合成ツール）に直接合成可能なC++を生成するトランスレータを開発し，その動作を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，高い処理能力や大規模メモリを前提とした従来の計算原理とは異なり，多様化するAIモデルに柔軟に対応できるエッジAI端末，および設計プラットフォームを含めたのエッジAI向け設計基盤技術確立を目的とする．
初年度にPosit化の基礎検討を行い，そこで従来には無い新たなDNNモデルの必要性が生じ，それに向けてNVAR-Mixerを提案し，その効果を示すことができた．実際にこれらの評価結果をIEEE Accessに投稿し，2023年10月にアクセプトされた．DNNコンパイラにおいても現在，PytorchからVitisまでシームレスに合成可能なトランスレータのプロトタイプ設計および評価が完了し，現在は論文誌へ投稿している状況である．
|
| Strategy for Future Research Activity |
申請書の経緯に沿って，概ね研究が進んでいる．2024年度は最終年度のため，NVAR-Mixerの応用および，本アーキテクチャをベースとしたオブジェクトディテクションモデルへの発展を検討していく．廉価版のFPGA（Field Programmable Gate Array）を対象に，NVAR-Mixerの実装評価を行い，物理性能を評価する予定である．同様にDNNコンパイラに関しては，可能であればMLIRを用いた論理最適化を行い，現状のトランスレータ版と比較して，最終的な回路性能が向上することを確認する．上記2つを明らかにすることで，エッジ再度のAI設計手法（超軽量なDNNアーキテクチャ，および回路設計技術）の基礎を明らかにすることを目的とする．
|
| Causes of Carryover |
DNNコンパイラに関する論文掲載料（ただし，現在は査読中）が間に合わず，来年度に回す形となる．旅費についても同様で，論文誌にアクセプトされた後，学会発表を行うため，2024年度への繰越とする．また，DNNコンパイラ開発用PCについても，2024年度に購入とする．
|
