Towards an Algebra for Distributed Deep Neural Networks

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K22865
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 井上 中順 東京工業大学, 情報理工学院, 助教 (10733397)
• Project Period (FY): 2019-06-28 – 2022-03-31
• Keywords: 画像認識 / 深層学習

Outline of Annual Research Achievements

２０１９年度は、２つの生成器と２つの識別器を持つ画像変換モデルを構築し、それらのパラメータ間に相関を持たせる方法、特に学習時の制約条件について検討をおこなった。これは、深層学習モデルを効率的に合算することを目的としたものである。目標としている深層学習モデル事後的統合の方法論確立には至っていないが、生成器と識別器の出力に一貫性を持たせる正則化を導入することで、学習を安定化させることが可能となることが明らかとなった。具体的には、２つの生成器をG1,G2、２つの識別器をD1,D2とした時に、G1-G2出力間、D1-D2出力間、G1-D2出力間、G2-D1出力間の平均二乗誤差が小さくなるような項を学習時に加えることで、画像変換モデルが学習初期の段階から安定化した。出力側にのみに一貫性を持たせる従来手法に比べて、画像変換の精度が向上すること、特にノイズや入力の変動に頑健であることが確認された。現在はこの点について重点的に計算機実験を実施しており、ここまでの結果をまとめて公表する予定である。
一方で、深層学習モデルにパラメータ間に距離尺度を導入し、パラメータ間距離が近い状態で複数の高精度なモデルを構築するための正則化についてはまだ良好な結果が得られていない。この点については、対象とするモデルおよび実験実施データセットの再考が必要な可能性がある。前述の学習安定化に関する実験が完了し次第、こちらについても研究を継続する予定である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

新たな正則化手法の提案に至り、画像変換の精度が向上すること、特にノイズや入力の変動に頑健であることが確認されたため、おおむね順調である。

Strategy for Future Research Activity

2020年度は(1)学習安定化手法の確立および、(2)学習済みモデルを合算するモジュールの作成、について研究を実施する。前者は2019年度の研究の継続であり、いくつかの画像変換モデルと評価用データセットで詳細な実験を実施する必要がある。また、ここまでの成果をまとめて公表できる形にする予定である。後者は一貫性正則化を応用して、複数のモデルを1つのモデルに統合するための蒸留方法を検討する。これについては当初の挑戦的目標に直結する形を目指している。

Causes of Carryover

当初購入を予定していた物品の納入が年度内に間に合わない可能性が生じ、一旦見送りとしたため。次年度に購入を行う予定であるが、緊急事態宣言などの影響で納入が引き続き難しい場合は、東京工業大学のスーパーコンピュータTSUBAME上で研究を実施できるように計画を変更し、その利用料として使用する。