• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

深層学習モデル間の演算体系確立と大規模分散学習への応用

研究課題

研究課題/領域番号 19K22865
研究機関東京工業大学

研究代表者

井上 中順  東京工業大学, 情報理工学院, 准教授 (10733397)

研究期間 (年度) 2019-06-28 – 2023-03-31
キーワード深層学習
研究実績の概要

2021年度は、前年度に引き続き、複数の深層ニューラルネットワークを統合するためのメタ学習法および、学習済みの深層学習モデルの性質を解明するための敵対的攻撃手法の研究を実施した。前者については、話者照合モデルと画像認識モデルの統合を検討したが、音声と画像のデータの違いから、2つの相異なるモデルを統合する損失関数の設計にまだ問題があることが明らかとなり、検討を続けている状態である。音声と画像それぞれの学習は、同じアルゴリズムで動作するものの、2つを統合した際には性能の劣化が見られ、解決方法を模索している。後者については、話者照合モデルに対して、信頼領域法と呼ばれる最適化手法を導入した、新しい敵対的攻撃アルゴリズムを提案した。提案のアルゴリズムは、前年度の2次最適化に基づいたアルゴリズムの改良版という位置付けであり、最適化の各ステップにおけるステップサイズを動的に決定するものである。話者照合モデルに対する敵対的攻撃アルゴリズムとしては新規性が高い。評価実験の結果、前年度の手法よりも性能が改善することが確認できた。評価はVoxCelebデータセットと呼ばれる、大規模な話者照合データセットでおこない、新たなアルゴリズムによって、従来よりも小さい摂動で、最新のニューラルネットワーク(話者照合向けの畳み込みニューラルネットワークおよびEmphasized Channel Attention, Propagation and Aggregation(ECAPA)機構を持つ時間遅延ネットワーク)の出力を反転させることが可能であることを示した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2つのテーマに対して、片方(話者照合モデルおよび敵対的攻撃手法)は当初の計画以上に進展がみられたが、もう片方(異種データの統合)はやや遅れており、総合的にはおおむね順調であると判断した。

今後の研究の推進方策

画像認識モデルとの統合について、損失関数の設計を見直し、課題の解決を試みる予定である。敵対的サンプルの生成に関しては、画像モデルへの適応や学習アルゴリズムへの同化を検討することで、これまでの個々のテーマを最終的に1つの成果として統合することを目指す。

次年度使用額が生じた理由

研究の実施順序の変更および研究計画の一部見直しにより、リモートで実施可能な評価実験を先に実施したため、次年度使用額が生じている。次年度も東京工業大学のスーパーコンピュータ
TSUBAME上で研究を実施できるような計画として、その利用料を支払う予定である。

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi