2020 Fiscal Year Research-status Report
Towards an Algebra for Distributed Deep Neural Networks
| Project/Area Number |
19K22865
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
井上 中順 東京工業大学, 情報理工学院, 助教 (10733397)
|
|---|
| Project Period (FY) |
2019-06-28 – 2022-03-31
|
| Keywords | 深層学習 / メタ学習 |
|---|
| Outline of Annual Research Achievements |
２０２０年度は、複数の深層ニューラルネットワークを統合するためのメタ学習法について研究を実施し、パラメータ空間上の距離尺度に基づいて、K個の深層ニューラルネットワークを１つに統合するための最適化手法を新たに提案した。評価実験では、音声データに対する話者の認識タスクにおいて、顕著な性能向上がみられ、VoxCelebと呼ばれる大規模な話者照合データセットにおいては、畳み込みニューラルネットワークを用いた教師あり話者照合向けの話者埋め込み抽出手法として、論文発表時点で世界最高の照合精度を達成した。また、学習済みの深層学習モデルがどのような性質を持つかを把握するために、敵対的サンプルの生成を試み、学習済みモデルの頑健性を測るフレームワークを構築した。これに合わせて、２時最適化を用いた新たな敵対的攻撃手法を提案した。この手法は擬似ニュートン法を用いて、従来よりも高効率に敵対的サンプルを生成するものである。現在は、深層ニューラルネットワークの統合前後で、頑健性がどのように変化するかを測定するとともに、複数の異なるニューラルネットワークアーキテクチャに対して、評価実験を実施している段階である。これらの手法は、画像認識モデルと音認識モデルの両方を対象として研究を進めている。現時点までで、当初の目的であった学習済みモデルの事後的統合が、部分的にではあるが実現することが示されたが、初年度に作成した画像認識モデルとの統合が現在の課題となっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の目的であった学習済みモデルの事後的統合が実現することが示されたため、概ね順調に進んでいる。
|
| Strategy for Future Research Activity |
初年度に作成した画像認識モデルとの統合が現在の課題となっているため、２０２１年度は、複数の異なるデータを対象としたニューラルネットワークの統合に取り組む予定である。また、敵対的サンプルの生成に関しても、評価実験を進めている部分があるため、引き続き研究を実施する。
|
| Causes of Carryover |
研究の実施順序を変更し、リモートで実施可能な評価実験のみを先に実施したため、次年度使用額が生じた。最終年度も東京工業大学のスーパーコンピュータTSUBAME上で研究を実施できるように計画を変更し、その利用料を支払う予定である。
|
Research Products
(2 results)
