Towards an Algebra for Distributed Deep Neural Networks

2021 Fiscal Year Research-status Report

• Project/Area Number: 19K22865
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
• Project Period (FY): 2019-06-28 – 2023-03-31
• Keywords: 深層学習

Outline of Annual Research Achievements

２０２１年度は、前年度に引き続き、複数の深層ニューラルネットワークを統合するためのメタ学習法および、学習済みの深層学習モデルの性質を解明するための敵対的攻撃手法の研究を実施した。前者については、話者照合モデルと画像認識モデルの統合を検討したが、音声と画像のデータの違いから、２つの相異なるモデルを統合する損失関数の設計にまだ問題があることが明らかとなり、検討を続けている状態である。音声と画像それぞれの学習は、同じアルゴリズムで動作するものの、２つを統合した際には性能の劣化が見られ、解決方法を模索している。後者については、話者照合モデルに対して、信頼領域法と呼ばれる最適化手法を導入した、新しい敵対的攻撃アルゴリズムを提案した。提案のアルゴリズムは、前年度の２次最適化に基づいたアルゴリズムの改良版という位置付けであり、最適化の各ステップにおけるステップサイズを動的に決定するものである。話者照合モデルに対する敵対的攻撃アルゴリズムとしては新規性が高い。評価実験の結果、前年度の手法よりも性能が改善することが確認できた。評価はVoxCelebデータセットと呼ばれる、大規模な話者照合データセットでおこない、新たなアルゴリズムによって、従来よりも小さい摂動で、最新のニューラルネットワーク（話者照合向けの畳み込みニューラルネットワークおよびEmphasized Channel Attention, Propagation and Aggregation（ECAPA）機構を持つ時間遅延ネットワーク）の出力を反転させることが可能であることを示した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

２つのテーマに対して、片方（話者照合モデルおよび敵対的攻撃手法）は当初の計画以上に進展がみられたが、もう片方（異種データの統合）はやや遅れており、総合的にはおおむね順調であると判断した。

Strategy for Future Research Activity

画像認識モデルとの統合について、損失関数の設計を見直し、課題の解決を試みる予定である。敵対的サンプルの生成に関しては、画像モデルへの適応や学習アルゴリズムへの同化を検討することで、これまでの個々のテーマを最終的に１つの成果として統合することを目指す。

Causes of Carryover

研究の実施順序の変更および研究計画の一部見直しにより、リモートで実施可能な評価実験を先に実施したため、次年度使用額が生じている。次年度も東京工業大学のスーパーコンピュータ
TSUBAME上で研究を実施できるような計画として、その利用料を支払う予定である。