2023 Fiscal Year Annual Research Report
Active Evaluation of Machine Learning Models
| Project/Area Number |
23H03456
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
原 聡 大阪大学, 産業科学研究所, 准教授 (40780721)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松井 孝太 名古屋大学, 医学系研究科, 講師 (50737111)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Keywords | 機械学習 / 能動学習 / 能動的評価 |
|---|
| Outline of Annual Research Achievements |
スモールデータへ機械学習を適用するためには、スモールデータでモデルが学習できることに加えてモデルの性能が評価できることが必須である。しかし、データの数が限られるスモールデータ問題では、必然的に評価に使えるラベル付きデータの数も限られ適切な性能評価は困難である。本研究プロジェクトではこの課題解決のためにモデルの性能評価に有用なデータを選んでラベルを付与する「能動的モデル評価」技術の研究に取り組む。そして開発した「能動的モデル評価」の方法を医療や材料探索など実問題に適用しそのの有効性を検証する。
本研究の最初の課題「（課題 1）最小限の情報（ラベルなしデータ及び教師オラクル）の利用」の研究に取り組んだ。
この課題について大きく2つの成果が得られた。1つ目の成果では、[Kossen+, ICML'21]の方法を拡張することで、能動的な複数モデルの性能評価（モデル選択）を実現した。この成果により、複数のモデルの中から最も少ないモデルを省コストで推定することが可能となった。2つ目の成果では、能動的モデル評価を能動学習の問題へと帰着する方法を考案した。具体的には二値分類問題の誤分類率の能動的評価の問題が、能動学習の一種であるレベル集合推定の問題に帰着できることを明らかにした。この帰着により、既存の能動学習の方法論を能動的モデル評価へと活用できるようになり、より効果的な技術開発ができると期待できる。これらの成果を国内学会（人工知能学会全国大会、IBISML研究会、IBIS）および国際ワークショップ（NeurIPS 2023 Workshop on Adaptive Experimental Design and Active Learning in the Real World）にて発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画において、最初の課題「（課題 1）最小限の情報（ラベルなしデータ及び教師オラクル）の利用」の研究に対して、(i) [Kossen+, ICML'21]の方法を基盤に発展させること、そして (ii) 能動的モデル評価を能動学習の問題へと帰着する方法について検討することを予定していた。
これら(i), (ii)のそれぞれについて予定通りに新たな成果をあげることができた。
|
| Strategy for Future Research Activity |
当初の研究計画通りに順調に研究が進んでいる。
今年度の研究成果を国際会議や学術雑誌に投稿するとともに、計画通りに研究をさらに発展させていく。
|
