Towards an Algebra for Distributed Deep Neural Networks

2022 Fiscal Year Research-status Report

• Project/Area Number: 19K22865
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
• Project Period (FY): 2019-06-28 – 2024-03-31
• Keywords: 深層学習

Outline of Annual Research Achievements

２０２２年度は、前年度の深層ニューラルネットワークの頑健性評価に関する研究を中心に、当初の研究期間を延長して研究を実施し、新たな敵対的サンプル生成手法を提案した。敵対的サンプルとは、深層ニューラルネットワークの頑健性評価に用いられるサンプルのことで、入力データに摂動を加えたサンプルのことである。摂動は、深層ニューラルネットワークの出力が変化する範囲で、できる限り小さいものを探索する。昨年度はこの探索部分に２次最適化の手法を取り入れることで、従来よりも高効率な生成を実現したが、最適化のステップサイズの調整が難しく、結果として摂動のノルム（大きさ）が大きくなってしまうという問題点があった。これに対して、本年度はステップ制限法と呼ばれる方法を提案し、安定的に小さな摂動を生成できることを実証した。具体的には、最適化の際に目的関数のテイラー近似をおこない、信頼区間を算出した上で、できる限り小さいステップ幅で、摂動を生成するアルゴリズムとなっている。評価実験はVoxCelebと呼ばれる話者照合タスクに関するデータセットで実施し、従来の方法よりもより小さい摂動で敵対的サンプルを生成できることを明らかとした。本成果は２０２３年度に国際会議論文として発表予定である。画像認識モデルとの統合については、最先端のモデルを利用して統合を検討したが、当初計画時よりもモデルサイズが増大し、計算量の関係で本研究で用いていた計算機では研究の実施が困難であった。そのため、この部分に関しては一旦保留として、上記の通り成果が期待できる部分に注力して研究を実施した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究期間延長により、新たな摂動生成手法が提案できた部分は、おおむね期待通りに研究が進んでいる。

Strategy for Future Research Activity

２０２３年度は頑健性評価の研究を予算の残額の範囲で継続する予定である。具体的には、音声と画像モデルに関して、頑健性評価をおこない、今後のさらなる研究発展につながる要素を探索する。また、発表予定のものに関しては旅費を支出して国際会議での発表を実施する。

Causes of Carryover

研究の実施順序の変更および研究計画の一部見直しにより、リモートで実施可能な評価実験を先に実施したため、次年度使用額が生じている。次年度も東京工業大学のスーパーコンピュータTSUBAME上で研究を実施できる計画を中心とする予定である。