Towards an Algebra for Distributed Deep Neural Networks
| Project/Area Number |
19K22865
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
|
|---|
| Project Period (FY) |
2019-06-28 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2020: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2019: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 深層学習 / メタ学習 / 画像認識 / 分散学習 / 代数学 |
|---|
| Outline of Research at the Start |
本研究の目的は，深層学習で得られるモデル間の「演算」を可能とする体系の構築である．データベース構築に利用されている関係代数の演算をモデル空間に導入することで，大量の計算機で独立に学習されたモデルの事後的統合を可能とすることを目指す．これにより，現存の小・中規模計算資源を有効活用できる分散学習の方法論を開拓する．この研究は，人工知能を用いた画像・映像認識システムを高精度化することに役立つものであり，近未来社会での活用が期待される．
|
| Outline of Annual Research Achievements |
２０２２年度は、前年度の深層ニューラルネットワークの頑健性評価に関する研究を中心に、当初の研究期間を延長して研究を実施し、新たな敵対的サンプル生成手法を提案した。敵対的サンプルとは、深層ニューラルネットワークの頑健性評価に用いられるサンプルのことで、入力データに摂動を加えたサンプルのことである。摂動は、深層ニューラルネットワークの出力が変化する範囲で、できる限り小さいものを探索する。昨年度はこの探索部分に２次最適化の手法を取り入れることで、従来よりも高効率な生成を実現したが、最適化のステップサイズの調整が難しく、結果として摂動のノルム（大きさ）が大きくなってしまうという問題点があった。これに対して、本年度はステップ制限法と呼ばれる方法を提案し、安定的に小さな摂動を生成できることを実証した。具体的には、最適化の際に目的関数のテイラー近似をおこない、信頼区間を算出した上で、できる限り小さいステップ幅で、摂動を生成するアルゴリズムとなっている。評価実験はVoxCelebと呼ばれる話者照合タスクに関するデータセットで実施し、従来の方法よりもより小さい摂動で敵対的サンプルを生成できることを明らかとした。本成果は２０２３年度に国際会議論文として発表予定である。画像認識モデルとの統合については、最先端のモデルを利用して統合を検討したが、当初計画時よりもモデルサイズが増大し、計算量の関係で本研究で用いていた計算機では研究の実施が困難であった。そのため、この部分に関しては一旦保留として、上記の通り成果が期待できる部分に注力して研究を実施した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究期間延長により、新たな摂動生成手法が提案できた部分は、おおむね期待通りに研究が進んでいる。
|
| Strategy for Future Research Activity |
２０２３年度は頑健性評価の研究を予算の残額の範囲で継続する予定である。具体的には、音声と画像モデルに関して、頑健性評価をおこない、今後のさらなる研究発展につながる要素を探索する。また、発表予定のものに関しては旅費を支出して国際会議での発表を実施する。
|
Report
(4 results)
Research Products
(2 results)
