2021 Fiscal Year Research-status Report
単純再帰型ニューラルネットワーク向け光コンピューティングシステム基盤の研究
| Project/Area Number |
20K19771
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
川上 哲志 九州大学, システム情報科学研究院, 助教 (20845523)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 再帰型光回路 / 再帰型ニューラルネットワーク / 光活性化関数 |
|---|
| Outline of Annual Research Achievements |
本研究は，記憶機能を有する単純再帰型ニューラルネットワーク向け光演算回路を基本とすした高性能・低電力な光計算機システムを確立するを目的としている．
2021年度は，前年度に構築した再帰経路を有する光行列-ベクトル演算回路をベースとし，光活性化関数の改善とノイズを考慮した光演算回路の演算精度評価を実施した．昨年度考案した光ReLU関数では，光2乗回路の活用を前提とした構造となっていた．しかしながら，光デバイスでの2乗回路の実現困難性により，当該回路無しで実現可能な非線形応答光回路の見直しを実施した．その結果，コヒーレントレシーバーと高性能OEOを組み合わせた光非線形関数（負応答は0，かつ，正応答は平方根）を考案した．この光非線形関数を用いて，再帰型ニューラルネットワークアプリケーションである8bitのシリアル加算器が学習可能（推論の正答率100％）であることを確認した．さらに，光ショットノイズ・自然放出雑音・電気回路での熱雑音等を考慮したシミュレーションにより提案光循環回路の計算精度解析を実施した．その結果，再帰計算を繰り返すことにより演算誤差が蓄積し演算精度が悪化する事が判明した．すなわち，ある一定の演算精度を担保するためには，再帰回数の上限が存在する．したがって，本提案回路は再帰回数が限定されたアプリケーションに対してのみ応用が可能となる．この制限を打開するべく，提案回路での演算を「中断」・「再開」するための機構の初期検討を始めている．中断では，提案回路の状態信号をAD変換することにより中間値として取り出す．また，再開では，中間値をDA変換し提案回路に入力する．これにより演算誤差の発散を抑制可能となることを期待している．中断と再開機能を適切なタイミングで実行することで，再帰型光回路による高性能・低電力の恩恵と再帰回数（応用範囲）の拡大を両立させることが可能となると考える．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究においては，核となる単純再帰型ニューラルネットワーク向け光演算回路の確立が最重要である．初年度に検討した光ReLU関数に関しては，学会発表にて光デバイス研究の専門家と議論する中で実現可能性に難があることが判明したが，今年度の改善によってコヒーレントレシーバーと高性能OEOを組み合わせた光非線形関数（負応答は0，かつ，正応答は平方根）を構築した．ニューラルネットワークで一般的に用いられる非線形関数とは異なるが，実アプリケーションである8bitのシリアル加算器にて推論の正答率100％となるまで学習が可能であることが確認できた．
さらに，昨年度より計画していた提案回路の演算精度解析も実施した．ノイズとしては，信号光波のショットノイズ・自然放出雑音と受光機での暗電流のショットノイズと熱雑音を想定している．光回路シミュレータによる解析により，再帰計算を繰り返すたびに誤差が拡大し演算精度が悪化することが判明した．演算が破綻しない再帰回数内においては本提案回路は十分に利用可能であることが考えられる．さらに，この再帰による精度劣化問題に対応すべく演算の「中断」と「再開」機能の実装も検討を始めている．これにより演算誤差の発散を抑制可能となることが予想される．以上から，本研究は概ね順調に発展していると考えられる．
|
| Strategy for Future Research Activity |
現在までに構築した再帰型の光演算回路を基本とし，（１）「中断」と「再開」機能の実現と評価，（２）受光器・ADC/DAC・メモリを含めたレイテンシ・スループット・電力評価，（３）光演算器システムの最適化の3つの項目に対し以下の方に進める．
項目(1)に関して，中断では提案回路の状態信号をAD変換することにより中間値として取り出すし，再開では中間値をDA変換し提案回路に入力する．この機能を実現する回路を構築するとともに動作検証を実施する．その後，中断と再開の頻度によって，演算精度の劣化を低減できるか否かを検証する．
項目(2)については，これまで構築した光回路のみならず，電気回路（特に，ADC/DACやメモリ）を考慮した上で，計算機システムのレイテンシ・スループット・電力を評価する．さらには，光回路がどの程度の使用率で動作可能か分析する．とくに，大量の演算を同時に行える光回路では使用率の低下が予想されるため，その緩和としてデータアロケーションについても検討する．
項目(3)については，(2)で解析した光計算機システムの性能・電力をもとにシステムの最適化を実施する．特に，「中断」と「再開」の頻度を上げると演算精度は向上するが，性能低下と電力増加が懸念される．このトレードオフを考慮した上で，最適なシステムを設計することで，高性能・低電力な再帰型光演算回路システムを構築する．
|
| Causes of Carryover |
今年度は新型コロナウイルスの影響により，出張計画がキャンセルとなり次年度使用額が生じた．
次年度では，出張規制の緩和に伴っい旅費を執行するとともに，研究データー保存用のワークステーションを購入する予定である．
|
