2023 Fiscal Year Annual Research Report
| Project Area | Photonic Computing Highlighting Ultimate Nature of Light |
|---|
| Project/Area Number |
22H05194
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
川上 哲志 九州大学, システム情報科学研究院, 准教授 (20845523)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小野 貴継 九州大学, システムLSI研究センター, 准教授 (80756239)
VARGAS DANILO 九州大学, システム情報科学研究院, 准教授 (00795536)
|
|---|
| Project Period (FY) |
2022-06-16 – 2027-03-31
|
| Keywords | 光電融合回路 / 光コンピューティング / 浮動小数点演算 / 大規模言語モデル / 光リザーバーコンピューティング / 脳模倣アルゴリズム |
|---|
| Outline of Annual Research Achievements |
本研究では，光電融合した計算機基盤をより柔軟・効率的に活用すべく，デバイス／回路／アーキテクチャ／アルゴリズムを包含したシステム評価環境の構築，ならびに，本環境を用いた計算機システムアーキテクチャの再構築を目的としている．
2023年度は，光演算器基盤をより拡張し，かつ，光演算器レベルに閉じた研究ではなく計算機アーキテクチャ/アルゴリズムレベルまで一気通貫した計算機システムの構築を目指すべく（１）BFLOAT16向け演算器の回路アーキテクチャ探索，（２）大規模並列光積和演算器の考案のシステムレベル評価環境の検討，（３）光物理リザーバーを活用するアルゴリズムの検討を実施した．
（１）では，まず昨年度構築したBFLOAT16向け光電融合乗算器は回路内においてレイテンシー・エネルギーボトルネックとなる１つのコンポーネントについてのみ光回路化を検討したものであったが．他のコンポーネントの光回路化の可能性を探索した．さらに，BFLOAT16向け光電融合加算器についても検討し，2つのの光回路実装法を提案した．これらの多数の設計選択肢を包括的に性能・電力評価し，最適な光電融合回路について検討した．
（２）では，光の並列性を活用した大規模行列演算器の構築を目指すべく，その光回路の初期検討とシミュレータの構築を実施した．シミュレータにより，LLMのノイズを考慮した精度評価が可能となった．
（３）では，脳を模倣した最適化によらず構造学習が可能な新たな人工知能のパラダイムというSyncMapに基づいて，光学的なアプローチを検討した．複数の光リザーバーの計測データ（B01班/C01班と協業）に基づき，SyncMapのダイナミックスを改善した手法を提案し論文誌で報告している．これは，ダイナミクスの安定性を保護できる式と複数の小さいSyncMapを利用した高次元に対応できるものである．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
2023年度では，計画の中核となる光演算器をさらに多種多様ものへと拡張できた．
まず，（１）光演算器レベルにおいて，浮動小数点乗算器のさらなる光回路化検討と回路探索による効率化と浮動小数点加算器の提案・評価によって，ニューラルネットワークの学習処理応用に向けた基本光演算器の構築が進展した．次に，（２）大規模な並列性を活用した光演算器の可能性模索のために，空間伝搬光と集積光回路を両活用した演算器系を考案した．さらに，これらの系のノイズの影響を考慮するためにLLMベンチマークに対応可能な精度シミュレータの構築を行った．最後に，（３）光リザーバの新たな応用可能性探索のためのアルゴリズムの検討を行った．通常，リザーバー層の後は1層の全結合層で構成されることが多いが，本アルゴリズムではNNの一部の層として光物理リザーバを想定することでダイナミクスの安定性を保護できることがわかった．
これらの成果は一部国際学会・雑誌で発表済みであり，かつ，初期検討が済んだものは論文投稿へ向けて執筆に着手している．また，研究開始当初では検討していなかった（３）光リザーバの応用可能性検討もできており，これは新たに追加した分担者，ならびに，本学術変革領域の他の計画研究代表者との共同研究の成果である．分野間連携の進展に起因した成果も出ており，以上から，本研究は当初の計画以上に進展していると考えられる．
|
| Strategy for Future Research Activity |
来年度は（１）光演算器をコアとした光電融合システム評価環境の構築，（２）大規模並列光積和演算器のシステムレベル性能・電力・精度評価，（３）光物理リザーバーを活用するアルゴリズムの検討を実施する予定である．
項目（１）に関しては，これまでに開発した光演算器をコアとした周辺電気回路（演算器，レジスター，SRAM等を含む）系を包括的に検討し，これらに基づいたシステムレベルの性能・電力を評価できる環境を構築する予定である．本提案光電融合計算機システムは，光演算回路，電気デジタル回路，ADC/DAC，メモリといった多種多様な系が混在するため，各性能見積もり手法を統合し，システム全体の評価を一括で行える方法を模索する予定である．
項目（２）に関しては，前年度検討した大規模並列光演算器の優位性を示すべく，（１）の環境と連携し性能評価を実施する予定である．さらに，これらの評価により既存の光行列演算器（MZI-VMM, MRR-VMM）と比較した際のスケールメリットを示す．これにより，本提案のLCOS-VMMは大規模化する機械学習モデル（LLM）に対し非常に高い親和性があることを示す予定である．
項目（３）に関しては，前年度と同様に光物理リザーバーの新たな応用可能性を探索すべく新規アルゴリズムの検討を実施する．SyncMapは関連性を良く学習でき適応性とロバスト性が高い計算パラダイムであるが，強化学習・分類法などを活用するため特徴量を作成する前処理が必要である．したがって，来年度はSyncMapが特徴量を作成するリザーバーコンピューティングと組み合わせした手法，SyncMapに基づいてる生成モデルと特徴量なしで入力変数を分割しながらSyncMapに基づいて分類法や強化学習の手法を開発する予定である．
|
