近似計算と自己組織化に基づく機械学習技術基盤の研究

2022 年度 実績報告書

• 研究課題/領域番号: 22J23373
• 配分区分: 補助金
• 研究機関: 東京工業大学
• 研究代表者: 熊澤 峻悟 東京工業大学, 工学院, 特別研究員(DC1)
• 研究期間 (年度): 2022-04-22 – 2025-03-31
• キーワード: 機械学習 / 深層学習 / アンサンブル学習 / エッジAI

研究実績の概要

今年度は複数のエッジ端末で高効率・高精度に深層学習の推論を行う手法に関する研究を行った。近年IoTデバイスの爆発的な普及や、第5世代移動通信システム(5G)による通信環境の改善により、エッジ環境において複数のデバイス間での連携が容易になり、連携を用いて単一のデバイスだけでは達成できないような高精度な推論を達成する研究が行われている。
本研究では、既存研究で提案されている、あるエッジデバイスが取得した推論データを複数のデバイス上に配置されたモデルを用いて推論を行いそれらの推論結果を統合する、アンサンブル手法に基づく方法でシステム全体で推論精度を向上させるというシステムに着目した。
既存研究におけるこのシステムでのモデルのアンサンブル方法は、各モデルからの出力を単純に平均、あるいはクラスごとに加重平均し、最大の値に該当するクラスを推論結果とする。これらの方法以外にも様々なアンサンブル方法が考えられるが、状況に応じてどのような方法を選択すべきか、という議論はこれまでになされていない。
本研究では、このシステムのモデルのアンサンブル部分に関して、より高効率・高精度を達成するための改善策を検討した。既存の平均や加重平均の手法に加え、カスケード手法やTest Time Augmentation等の手法が、どのような状況において有効なのか検証し、またこれらの手法の改善策を検討した。
本研究では、認識精度と計算量、およびレイテンシの観点から評価を行った。認識精度の評価には深層学習フレームワークPyTorchを用い、計算量、およびレイテンシは数値シミュレーションにより算出した。

現在までの達成度 (区分)

3: やや遅れている

理由

本研究課題は、適応的なエッジAIに向け、近似計算手法に基づいた軽量な学習と推論を並行処理可能な手法の提案を目標としている。
当初の予定では、本年度は近似計算手法に基づく学習処理の軽量化に関する研究を行う予定であり、複数の弱学習器の予測を統合することで高精度な予測を得るアンサンブル学習手法に着目した。学習処理の軽量化に伴い、単体のモデルの精度が低下した場合でも、エッジ環境において、複数のデバイス上のモデルを用いることでその精度低下を補うことが可能であると考えたからである。
アンサンブル学習に基づく学習処理の軽量化を研究する過程で、推論処理の最終部分であるアンサンブル部分の方法を変えることで推論精度が変化することに気付いた。既存研究では、条件に応じてどのようなアンサンブル方法が有効であるか、という十分な議論はなく、今後アンサンブルに基づく手法を土台としていく上でこれを明らかにする必要性を感じ、様々なアンサンブル手法を検討し、評価を行った。現在得られた成果を学会誌、又は学会発表に向けてまとめている最中で、推論処理の部分では進捗があったが、当初予定していた学習処理の部分に本格的に着手できていないため、進捗状況はやや遅れているとした。

今後の研究の推進方策

来年度は、まず本年度得られたアンサンブル部分の検討および改善に関する結果を学会誌、又は学会発表に向けまとめているものを完了させる予定である。その後は当初予定していた学習部分の軽量化に関して研究を進めていく。学習の軽量化方法を検討するにあたって、まずは今年度研究対象とした、複数のデバイスを用いたアンサンブル学習に基づいた手法を考えていく。現在大まかに、それぞれのデバイス上で単一のモデルの学習処理を軽量化する方法か、複数のデバイスで連携して学習処理を軽量化する方法を考えており、今後検討していく予定である。