2023 Fiscal Year Annual Research Report
General-purpose deep learning theory for ultra-low computational complexity and low capacity in the age of edge AI
| Project/Area Number |
21H03456
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
小川 貴弘 北海道大学, 情報科学研究院, 教授 (20524028)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前田 圭介 北海道大学, 情報科学研究院, 特任助教 (20798243) [Withdrawn]
藤後 廉 北海道大学, 情報科学研究院, 特任助教 (60840395)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | 人工知能 / IoT / エッジAI / モデルクローニング / クロスモーダル知識転移 / 少量データ学習 / スパース表現 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築を目指している。研究代表者が進めてきた低演算量・低容量バイナリスパース表現技術とクロスモーダル埋め込み技術の研究を融合させ、AIの演算量と学習データ量を大幅に削減可能な新たな理論を構築する。具体的に、最先端の深層学習モデルをバイナリスパース表現により模倣し、さらに、他のモダリティからの知識転移を行うことで、深層学習の利点である高い精度を保持しつつ、演算量削減と学習データ量の小規模化を同時に実現する。本研究課題では、構築理論の汎用性を示すとともに、エッジデバイス上での評価検証を行う。尚、本研究課題は研究分担者とともに、実施項目である「① モデルクローニング技術の実現による演算量の削減」および「② クロスモーダル知識転移技術の実現による学習データ量の小規模化」を実施する。
令和5年度は、「バイナリスパース深層学習モデルの汎用性拡張」を目指し、研究を遂行した。具体的に、フェーズ２にて構築したバイナリスパース深層学習モデルを拡張し、画像の認識・意味理解等、より高度かつ汎用なタスクに適用可能なモデルの実現を目指すとともに、新たなモデル最適化の方法論を確立した。まず、複数の深層学習モデルの中間層との相関を最大化するマルチビュークロスモーダル埋め込み理論を構築し、最適なモデルからの適応的なクローニングを可能にする手法を実現した。最終的には、大規模な演算量削減と学習データ量の小規模化を実現した。関連する研究成果の対外発表についても積極的に行い、画像処理分野におけるトップ国際会議ICIPへの採択や、信号処理分野のトップ国際会議ICASSPへの採択に至った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究課題では、「① モデルクローニング技術の実現による演算量の削減」および「② クロスモーダル知識転移技術の実現による学習データ量の小規模化」を主な軸として研究を進めている。5つのフェーズ（【フェーズ1】バイナリスパース制約付クロスモーダル埋め込み理論の実現、【フェーズ2】バイナリスパース深層学習モデルの実現、【フェーズ3】バイナリスパース深層学習モデルの汎用性拡張、【フェーズ4】モデルの軽量化と低容量化、【フェーズ5】エッジデバイスへの適用と実現理論の横展開）を配しており、各年度で実施する予定である。
令和5年度は、令和3年度に【フェーズ1】、令和4年度に【フェーズ2】が当初の予定通り完了したことから、計画通り【フェーズ3】を実施した。フェーズ２にて構築したバイナリスパース深層学習モデルを拡張し、画像の認識・意味理解等、より高度かつ汎用なタスクに適用可能なモデルの実現を目指すとともに、新たなモデル最適化の方法論を確立した。このとき、クローニング対象となる複数の深層学習モデル間での冗長性を評価する損失関数を新たに加えることで、中間層出力間の相関推定に不要なモデルの影響を低減することを可能とした。なお、この最適化には膨大な組み合わせが存在するが、従来、特徴選択の研究において、関連性と冗長性の損失関数を併存させて最適化するアルゴリズムが多数存在することから、その活用を行った。さらに、次フェーズである「【フェーズ4】モデルの軽量化と低容量化」にも先行着手し、Teacher-Studentモデルに基づく知識蒸留やデータ蒸留手法を開発している。研究成果の対外発表も積極的に行っており、信号処理分野のトップ国際会議ICASSPや画像処理分野のトップ国際会議ICIPへ研究成果が採択されている。
|
| Strategy for Future Research Activity |
令和5年度では、当初の予定通り「【フェーズ3】バイナリスパース深層学習モデルの汎用性拡張」に取り組んだ。また、次フェーズのモデルの軽量化と低容量化についても先行着手した。
令和6年度では、バイナリスパース深層学習モデルバイナリスパース深層学習モデル内に生じる冗長性に注目する。前フェーズまでに構築した理論によって、異なるモデル・モダリティに対する最適化が実現される。一方で、前フェーズまでに構築されたモデルでは、その内部の最適化までは考慮されていない。そこで、本フェーズでは、クロスモーダル埋め込み理論を高度化することで、バイナリスパース深層学習版のモデル蒸留を実現する。具体的に、同一モデル内の中間層出力間の相関に注目し、互いに相関が高い中間層間の省略を可能にすることで、モデルの軽量化を実現する。また、研究代表者は先行研究で、スパース表現係数のみからの辞書再構成を可能にする自己組織化辞書学習を実現している。本研究課題においてスパース表現係数と辞書はそれぞれ、バイナリ中間層出力およびモデルパラメータに対応する。したがって、この導入により一部のバイナリ中間層出力を保持するだけでモデルパラメータを再構成可能なモデルの低容量化を実現する。加えて、知識蒸留やデータ蒸留等のより発展的な軽量化・低容量化のアプローチにも着手しており、多様な観点から軽量化・低容量化のアプローチを試みる予定である。なお、令和6年度についても得られた研究成果の横展開を拡張し、画像処理分野における世界最大規模の国際会議ICIPや信号処理分野における世界最大規模の国際会議ICASSP、そして、IEEE Transactions on Signal Processing等の権威ある学術論文誌への投稿を積極的に行う予定である。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Machine learning-based automatic rating of clinical frailty scale in patients with heart failure: a pilot study2023
Author(s)
Yoshifumi Mizuguchi, Motoki Nakao, Toshiyuki Nagai, Yuki Takahashi, Takahiro Abe, Shogo Imagawa, Kenichi Matsutani, Takahiko Saito, Kenji Hirata, Takahiro Ogawa, Takuto Shimizu, Manabu Otsu, Kunihiro Chiyo, Toshihisa Anzai
Organizer
American College of Cardiology Scientific Session 2023
Int'l Joint Research
-
[Presentation] Machine learning-based prediction of clinical frailty scale based on gait analysis in elderly patients with heart failure2023
Author(s)
Motoki Nakao, Toshiyuki Nagai, Yoshifumi Mizuguchi, Yuki Takahashi, Takahiro Abe, Shigeo Kakinoki, Shogo Imagawa, Kenichi Matsutani, Takahiko Saito, Masashige Takahashi, Kenji Hirata, Takahiro Ogawa, Takuto Shimizu, Manabu Otsu, Kunihiro Chiyo, Toshihisa Anzai
Organizer
American Heart Association Scientific Sessions 2023
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
