Multi-Disciplinary AI Computing Platform Based on Hyper-dimensional Vector Representation
| Project/Area Number |
23H05489
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (S)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Broad Section J
|
|---|
| Research Institution | Institute of Science Tokyo |
|---|
Principal Investigator |
本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
安戸 僚汰 京都大学, 情報学研究科, 助教 (00846941)
安藤 洸太 北海道大学, 情報科学研究院, 准教授 (20855324)
CHU ThiemVan 東京工業大学, 科学技術創成研究院, 助教 (80838235)
|
|---|
| Project Period (FY) |
2023-04-12 – 2028-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥204,100,000 (Direct Cost: ¥157,000,000、Indirect Cost: ¥47,100,000)
Fiscal Year 2024: ¥41,990,000 (Direct Cost: ¥32,300,000、Indirect Cost: ¥9,690,000)
Fiscal Year 2023: ¥46,280,000 (Direct Cost: ¥35,600,000、Indirect Cost: ¥10,680,000)
|
|---|
| Keywords | 深層ニューラルネット / アニーリング計算 / ハイパーディメンジョナルコンピューティング / 機械学習 / 離散最適化 / アニーリングプロセッサ / リコンフィギュラブル / インメモリ計算 |
|---|
| Outline of Research at the Start |
深層ニューラルネット(DNN)、超高次元コンピューティング(HDC)、アニーリング計算(ANC)の三者に共通する超高次元分散ベクトル(ハイパーベクトル: HV)表現を基軸として、分野融合型AIコンピューティング基盤の開拓を目指す。HV集合の並列・再構成型メモリ-プロセッサ統合エンジンを、DNN-HDC融合型の新たな機械学習技術、DNN-HDC-ANC統合アーキテクチャ、ANCの逆プロセスやHV集合の後段処理による説明可能AIへの取組み、それらを全体統合するアーキテクチャ基盤の創出等に取り組む。ソフトウェア－ハードウェア協創型研究により広範なAIドメインの革新的アーキテクチャ基盤技術を確立する。
|
| Outline of Annual Research Achievements |
機械学習と離散最適化の融合領域の研究として，従来の離散最適化の手法である厳密解法，メタヒューリスティックによる解法よりもスケーラビリティと高速性に優れた強化学習による最適化に着目し，巡回セールスマン問題，二次割り当て問題，イジング問題について手法を検討した．
離散最適化の高速化・高精度化を目標に，１．パラメータ動的制御機構を組み込んだ全並列型アニーリング手法，２．スピンマージ法により状態遷移範囲を拡張するアニーリング手法，３．決定変数の期待値表現により探索性能の向上を図るアニーリング手法の研究を推進した．結果として，項目１の成果をIEICE Transactions on Information and Systemsで2023年12月に発表し，項目２の成果をIEEE Accessで2024年3月に発表した．さらに，項目３の成果を国際会議Genetic and Evolutionary Computation Conference（GECCO 2024）に投稿し，採択を得た．
機械学習を高次元空間でのバイナリ基底の組み合わせの最適化によって行う検討の一環として，通常のDNNの各層の処理をベクトル空間の写像とみなし，学習の進行に伴う変換の基底の挙動に着目した学習・評価手法を考案した．代表的な画像分類タスクにおいて普遍的に有効な基底の存在を示唆する結果が得られた．
疎行列処理の基盤として，疎行列と疎行列の積（SpMSpM）という基本演算に焦点を当て，高速かつ高効率なアーキテクチャの研究を進めており，FPGAによるハードウェアプロトタイプの実装及び評価を行った．また，テーブル型データの処理基盤として，決定木アンサンブル学習を高速化・高効率化する手法としてバイナリ特徴量分解型アーキテクチャを提案し，FPGAで実機評価を推進した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
強化学習を活用して離散最適化を高速に行う手法として，graph pointer networkを用いて二次割り当て問題（QAP）を行うシステムを開発して評価まで行なった．本システムでは，二つの入力行列に対応するためにgraph pointer networkを二段重ねにする構成を導入することで，QAPに適用することに成功し，FPGA上での動作も実現した．
高速・高精度な離散最適化の実現を目指し，新規アニーリングアルゴリズムの創出を多角的に進めてきた．本研究で開発したアルゴリズムは共通して高い並列度を持ち，いずれもGPU実行環境において既存技術に対する優位性が実証されている．一方で，これらアルゴリズムを具現化するHWアーキテクチャの研究も必要であることから，スピンマージ法をアニーリング計算過程に低コストで導入するParallel-trial Double-flip Annealing（PDA）を考案した．現在，PDAのアーキテクチャ設計とFPGA実装を推進中である．
DNNの重み係数の基底を学習中に解析・操作する方法として，係数の特異値分解に基づく手法にて有効な結果が得られたため，IEICE国内発表で第一報を報告した．評価を拡充し国内外の発表準備を進めている．
提案のSpMSpMアーキテクチャは，最先端のSpMSpMアーキテクチャ[Li+ IEEE-TCAD'23]に比べて，同程度の回路規模で2.72倍，約1.6倍程度の回路規模で4.80倍，という大幅な性能向上を達成できることを確認した．この成果を国際会議ASP-DAC'24で発表した．また，初期評価で，提案の決定木アンサンブル学習アーキテクチャが，RTX 2080 Ti GPU上の従来の学習フレームワークXGBoostの実行より，学習効率の大幅な改善を達成できるという成果が得られ，国際会議FCCM'23で報告した．
|
| Strategy for Future Research Activity |
提案のSpMSpMアーキテクチャは，最先端のSpMSpMアーキテクチャ[Li+ IEEE-TCAD'23]に比べて，同程度の回路規模で2.72倍，約1.6倍程度の回路規模で4.80倍，という大幅な性能向上を達成できることを確認した．この成果を国際会議ASP-DAC'24で発表した．また，初期評価で，提案の決定木アンサンブル学習アーキテクチャが，RTX 2080 Ti GPU上の従来の学習フレームワークXGBoostの実行より，学習効率の大幅な改善を達成できるという成果が得られ，国際会議FCCM'23で報告した．
これまでに推進したアルゴリズムならびにHWアーキテクチャの研究を継続するとともに，アニーリング計算と機械学習の融合領域を開拓し，両者の高度化を図る研究に取り組む．第一に，強い宝くじ理論に基づくHNNのマスク最適化が離散最適化と見なせる点に注目し，アニーリング計算技術を活用したHNN学習の効率化を検討する．第二に，アニーリング計算の逆過程が機械学習で表現しうる点に注目し，アニーリング計算技術の適用範囲拡大を狙う．
提案したDNN基底を動的に解析する手法を，基底を直接操作する学習手法としてHDCの文脈で再解釈し，アニーリング・逆イジングマシンとの数学的関連性の整理と，HNN類似のマスクに基づく手法の導入を進め，新規DNN学習手法の確立を目指す．
提案したSpMSpMアーキテクチャを，疎行列とベクトルの積や疎行列の転置などの他の疎行列の基本演算に拡張し，包括的な疎行列処理アーキテクチャの確立を目指す．また，木レベルの並列学習可能な決定木アンサンブル学習アーキテクチャの研究を推進し，更なる高速化かつ高効率化の実現を目指す．
|
Report
(3 results)
Research Products
(38 results)
