2023 Fiscal Year Research-status Report
近似計算と自己組織化に基づく機械学習技術基盤の研究
| Project/Area Number |
22KJ1345
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
熊澤 峻悟 東京工業大学, 工学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Keywords | 機械学習 / 深層学習 / アンサンブル学習 / エッジAI |
|---|
| Outline of Annual Research Achievements |
今年度の研究では、複数のエッジ端末を協力的に用いた推論手法(Edge Ensembles)の予測統合部分に関して、既存の代表的な高効率・高精度な3つの予測統合手法であるカスケード、重み付き平均法、Test Time Augmentation(TTA)の3つの手法を適用し効果を検証するとともに、これらの手法のEdge Ensemblesに適した改善手法を提案した。カスケードは複数のモデルを逐次的に推論し、予測に自信があると判断された場合に推論を途中で打ち切ることで、計算量を削減する手法である。推論を打ち切ることで計算量の削減が期待できるが、逐次的な処理によるレイテンシの増加が懸念される。本研究ではカスケードの並列数をmという変数にすることでレイテンシ増加と計算量削減のバランスを調整する、m並列カスケード手法を提案した。また、重み付き平均法・TTAに関して、事前に各モデルに対する重み・TTAのパラメータを設定せずに、エッジ側で推論データのみを用いて学習する手法を提案した。エッジ環境では正解ラベルがついた学習データが得られにくいという問題があり、この手法は、ラベルのないデータのみを用いて適応的にモデルの予測統合手法を高精度化する手法として提案した。
本研究では、認識精度・計算量・レイテンシの観点から評価を行った。実験を通して、Edge Ensemblesに対する既存の予測統合手法および提案手法の有効性について検証した。主な結果として、提案手法であるm並列カスケードは従来のカスケードと比較し、1.06倍の若干の計算量増加に対してレイテンシを1/2.8まで低下させた。さらに提案手法である、正解ラベルを使わずに重み付き平均・TTAのパラメータを学習する手法では、正解ラベル付きの学習データを用いた場合とほぼ同等の効果が得られ、エッジ環境におけるラベルなしデータを用いた最適化を可能にした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題は、適応的なエッジAIに向け、近似計算手法に基づいた軽量な学習と推論を並行処理可能な手法の提案を目標としている。近似計算手法に基づいた学習・推論を行うモデルの精度低下に対して、複数の端末上のモデルの予測を統合することで高精度な予測を得るアンサンブル手法(Edge Ensembles)を用いて、精度を補う手法を検討していた。
今年度は昨年度より継続した、Edge Ensemblesの推論処理におけるモデル統合手法の違いがどのような条件下でどの程度精度に影響を与えるかの調査に加え、さらに既存のモデル統合手法を発展させた、よりEdge Ensemblesに適したモデル統合手法を提案した。また、適応的なエッジAIに向け、エッジ側でラベルのないデータを用いてEdge Ensemblesの予測統合部分のパラメータを学習する方法を提案した。これらの内容をまとめ、査読付き論文として発表した。以上の通り、研究はおおむね順調に進展している。
|
| Strategy for Future Research Activity |
今年度の研究では、適応的なエッジAIに向け、Edge Ensemblesのモデル統合部分のパラメータについてエッジ側でラベルのないデータを用いた最適化方法を提案したが、実用的な応用を考えた場合に、エッジ環境で得られる学習データの量や質に関する問題がある。現在この問題に対して、生成モデルを用いた学習データの生成が利用できないか検討している。生成モデルは学習データの生成以外にも、データのプライバシー性の向上やデータ圧縮などに利用ができ、エッジ環境での応用が期待される技術である。現在生成モデルの一つである拡散確率モデルに着目し、その最新の動向を調査しており、今後は適応的なエッジAIにおける生成モデルの効率的利用方法およびエッジ環境での実行に向けた軽量化方法について検討していく予定である。
|
| Causes of Carryover |
繰越分に関して、2023年度に、30万円程度のノートパソコンを購入予定だったが、納期の都合により、購入を2024年度に見送ることにしたため、繰越が生じた。
残りの予算の使用予定として、40万円ほどを学会への出張費とし、40万円ほどを実験に用いる計算資源のための費用(GPUマシンの購入もしくはスーパーコンピュータ等の外部計算資源の利用費)として使用する予定である。
|
