| 研究課題/領域番号 |
24KJ1784
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分60050:ソフトウェア関連
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
石本 優太 九州大学, システム情報科学府, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2024-04-23 – 2026-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
1,500千円 (直接経費: 1,500千円)
2025年度: 500千円 (直接経費: 500千円)
2024年度: 1,000千円 (直接経費: 1,000千円)
|
|---|
| キーワード | 品質保証 / 機械学習システム / 深層学習 / 副作用 / デバッグ |
|---|
| 研究開始時の研究の概要 |
本研究の目的は，機械学習モデルの運用時の自動的な品質保証手法を確立することである．代表的な機械学習モデルである深層学習モデル（DNN）に対する既存の修正手法は，運用時に発生したモデルの誤動作を修正することができる．しかし，これらの手法を実際の開発・運用現場で利用するためには，モデルのアップデートにより既存の正しい振る舞いが損なわれてしまう「副作用」について対処する必要がある．そこで本研究では，開発者の副作用に対する要求を考慮しつつ，最適な修正を行う自己適応型の機械学習モデルの運用手法を提案・評価することで，目的を達成する．
|
| 研究実績の概要 |
近年，機械学習モデルを含んだソフトウェアシステムである機械学習システムが広く用いられている．機械学習システムは従来のソフトウェアシステムと異なり，機械学習モデルなどの特有の要素を含むため，その品質保証は従来にない困難さ（モデル自体の解釈が困難であるブラックボックス性など）を伴う．本研究では，機械学習システムに対して自動的な品質保証を支援する手法の開発を目的とする．特に，本研究で対象とするのは機械学習システムの中でもコアな要素である機械学習モデルである．
代表的な機械学習モデルである深層学習モデル（DNN）に対する既存の修正手法は，運用時に発生したモデルの誤動作を修正することができる．しかし，これらの手法を実際の開発・運用現場で利用するためには，モデルのアップデートにより既存の正しい振る舞いが損なわれてしまう「副作用」について対処する必要がある．
本年度は，この副作用の問題に対して，修正手法がうまくいきそうかどうか事前に予測するフレームワークを提案・実証した．具体的には，修正手法により (i) 誤動作をどの程度修正できそうか，(ii) 既存の正しい動作がどの程度保たれそうか (副作用に対応する) を予測する軽量な予測器を構築し，その結果を利用して最適な修正手法を選択するフレームワークである．
モデルの修正に対してさまざまな要求を持つ状況を模倣した実験の結果，我々のフレームワークを利用することでより短い時間で最適な修正手法を選択できることが明らかになった．このようなフレームワークと既存の修正手法を組み合わせることで，効率的かつ自動的な機械学習システムの運用につながることが示唆された．
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
本年度は，本研究課題の2つのサブテーマのうちの1つである「副作用予測モデルの構築・評価」に関する研究を行い，その有用性を明らかにすることができた．
この研究結果をまとめた論文はソフトウェア工学のトップジャーナルに採択された．
そのため，研究開始当初の計画と照らしておおむね順調に進展している．
|
| 今後の研究の推進方策 |
今後は以下の2つの推進方策を並行して進める．
[方策1. 副作用の制約を組み込んだ品質保証手法の提案] 方策1では，昨年度の研究に引き続き，実際の機械学習システムの運用プロセスに組み込める手法を提案することを目指す．具体的には，開発者の副作用に対する制約を自己適応型ソフトウェアの実現手法である MAPE-K Loop に組み込むことで，副作用を抑えつつ品質指標の基準を自動的に達成できるようモデルを修正する手法を提案する．副作用に対する制約は，「モデル修正適用によって正解から不正解に変化するサンプルが全体の X％以内」のように許容できる副作用の上限として与えられる．
[方策2．Transformerアーキテクチャや大規模言語モデル (LLM) への拡張] 近年は小規模な深層学習モデルだけでなくTransformerアーキテクチャをベースにした大規模言語モデル（LLM）が主流となっている．方策2では，本研究でこれまで得られた修正手法や副作用に関する技術や知見をLLMに対して適用することを目指す．これを通じて，LLM時代における自動的な品質保証を支援できる手法を模索する．
|
