2021 Fiscal Year Annual Research Report
クラウド側とエッジ側機器の動的な協調に基づく自律分散共進化AI基盤技術の研究開発
| Project/Area Number |
19H04099
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
中澤 仁 慶應義塾大学, 環境情報学部(藤沢), 教授 (80365486)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
須山 敬之 大阪工業大学, 情報科学部, 教授 (80396134)
宮前 泰恵 (岸野泰恵) 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, 主任研究員 (20466410)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 深層学習 / エッジ / クラウド / 共生 |
|---|
| Outline of Annual Research Achievements |
エッジノードとクラウドサーバとの間で協調しながら深層学習モデルを随時アップデートするためには、継続的な学習が必要となる。そこで2021年度は継続学習の代表的な手法であるリプレイ技術に着目した。継続学習では、例えば物体検出タスクにおいて、検出対象クラスが時間の経過とともに増加していく時、過去に学習したモデルを生かしながら新たに加わるクラスを学習する。リプレイ技術では過去に用いた学習データの一部を保存しておき、新規クラスに要する学習データと組み合わせて学習を行う。このとき、計算機の記憶装置が有限であることから、保存しておく学習データを選択する方針をよりよく定める必要がある。本研究では、クラスの難易度を学習データ選択時の指針とし、困難なクラスのデータをより多く保存しておくことで、これまでのリプレイ技術と比較してより良い精度の達成を目標とした。
エッジノード上でデータを圧縮してサーバに送信する際にはデータの分布に合わせた圧縮方式が重要となるが、実世界センシングではデータ分布が変化するため、分布外データを検出し、それに合わせてエッジ上の機械学習モデルを動的に更新することで、エッジ・サーバの連携を最適化できるようになる。これについて複数のモデルで検討を行い、その結果を情報処理学会マルチメディア、分散、協調とモバイルDICOMO2021シンポジウムで発表した。また画像認識を行う場合、認識器のクラスの共通化を行うことにより認識性能の向上や認識処理の軽量化が可能となると考えられる。本手法はリソースが限られているエッジノード上で認識処理を行う上で重要な要素となる。本手法の検討結果を2022年7月に開催される情報処理学会マルチメディア、分散、協調とモバイルDICOMO2022シンポジウムにおいて発表予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
継続学習に関する研究では、上述した手法により既存手法と比較して高い精度を得た。具体的には、各クラスを学習していくステップで観察されるステップ精度と、全クラス学習後に観察される最終精度の双方で、先行研究（CARL）で示される精度を超えた。実験にはCIFAR10、CIFAR100の両データセットを用い、容易なタスクと困難なタスクの双方において上記を達成した。また、学習済みモデルを小型化してエッジデバイスでも高速駆動可能とするために、モデル蒸留に関する研究を進めた。同研究では、複数の親モデルを組み合わせて蒸留することで、より良い制度を達成できた。一方で、実空間から直接的に獲得したデータを用いた実証的研究は未着手であり、この点で課題が残る。
オートエンコーダを使った分布外の検知に関して、センサでデータをエンコードしたデータを再度デコードし、復元誤差からデータ分布の変化を認識する方法について検討を進めた。この基礎検討の結果がDICOMO2021で発表した内容である。
また、オートエンコーダで再度のデコードを行うのではなく、潜在変数の分布の変化からデータ分布の変化を認識する方法についても検討を進めている。対象とするデータや潜在変数の個数などにより、分布外検出に失敗することもあり、検討を行っている途中である。
|
| Strategy for Future Research Activity |
2022年度は本研究の最終年度であることから、これまでに構築した要素技術の性能を向上させ、実証的な研究に取り組む。具体的には、クラス難易度の動的な制御が挙げられる。上述したリプレイ技術では、クラス難易度をそれぞれのクラスの訓練データが与えられた時点で定め、その後追加された新しいクラスの難易度に影響を受けない。そのため、異なるステップで追加されたクラス間の難易度が適切に設定されていない。そこで、今後データが与えられるたびに全てのクラスの難易度を計算しなおし、コアデータ数制御を動的に行う手法を検討する。これまでに開発した分布外の検出手法を用い、分布外のデータをサーバに送って機械学習モデルを更新することにより、半自動的なモデル更新実現に向けて検討を進める。これまでに開発した能動学習によるモデル更新法と分布外データの検出法を組み合わせることで実現が期待できる。環境内に設置された複数のセンサノード動作を半自動的に変更する技術については継続的に検討を進め、またクラウドとエッジの連携基盤技術についても開発を進めていく。
|
