2023 Fiscal Year Annual Research Report
Towards an Algebra for Distributed Deep Neural Networks
| Project/Area Number |
19K22865
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
|
|---|
| Project Period (FY) |
2019-06-28 – 2024-03-31
|
| Keywords | 深層学習 |
|---|
| Outline of Annual Research Achievements |
２０２３年度は、当初の研究期間を延長して研究を実施し、前年度の深層ニューラルネットワークの頑健性評価に関する研究を中心に、新たな敵対的サンプル生成手法に関する詳細な実験を行い、成果をまとめた。ここで、敵対的サンプルとは、深層ニューラルネットワークの頑健性評価に用いられるサンプルのことで、入力データに摂動を加えたサンプルのことである。摂動は人間の耳で聞き分けができない程度の小さいものであり、より小さい摂動でニューラルネットワークの出力が変化する点を明らかとすることで、ニューラルネットワークの頑健性の評価が可能となる。本年度は、昨年度に構成したステップ制限法と呼ばれる方法に関する実験を拡充し、大規模なデータでも安定的に小さな摂動を生成できることを実証した。具体的には、最適化の際に目的関数のテイラー近似をおこなう部分で、１次近似と２次近似の比較や、信頼区間の上限と下限に関するハイパーパタメータの探索、従来手法である近似ニュートン法を用いた敵対的摂動生成方法との比較をおこなった。評価実験の規模も拡大し、VoxCeleb2と呼ばれる最新の音声話者照合データセットで実験を実施した。その結果、提案法は従来手法に比較して、より小さい摂動で話者照合結果を変動させることができることを明らかとした。また、本成果は２０２３年度に国際会議論文として発表をおこなった。研究期間全体として、メタ学習に基づく学習方法と敵対的サンプルの生成方法に関して、それぞれ成果が得られた。
|
