Active Evaluation of Machine Learning Models

• Project/Area Number: 23K28146
• Project/Area Number (Other): 23H03456 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related; Basic Section 60030:Statistical science-related; Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
• Research Institution: Osaka University
• Principal Investigator: 原 聡 大阪大学, 産業科学研究所, 准教授 (40780721)
• Co-Investigator(Kenkyū-buntansha): 松井 孝太 名古屋大学, 医学系研究科, 講師 (50737111)
• Project Period (FY): 2023-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000); Fiscal Year 2027: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2026: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2025: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000); Fiscal Year 2024: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: 機械学習 / 能動学習 / 能動的評価

Outline of Research at the Start

スモールデータへ機械学習を適用するためには、スモールデータでモデルが学習できることに加えてモデルの性能が評価できることが必須である。しかし、データの数が限られるスモールデータ問題では、必然的に評価に使えるラベル付きデータの数も限られ適切な性能評価は困難である。本研究ではこの課題解決のためにモデルの性能評価に有用なデータを選んでラベルを付与する「能動的モデル評価」技術の研究に取り組む。

Outline of Annual Research Achievements

スモールデータへ機械学習を適用するためには、スモールデータでモデルが学習できることに加えてモデルの性能が評価できることが必須である。しかし、データの数が限られるスモールデータ問題では、必然的に評価に使えるラベル付きデータの数も限られ適切な性能評価は困難である。本研究プロジェクトではこの課題解決のためにモデルの性能評価に有用なデータを選んでラベルを付与する「能動的モデル評価」技術の研究に取り組む。そして開発した「能動的モデル評価」の方法を医療や材料探索など実問題に適用しそのの有効性を検証する。

本研究の最初の課題「（課題 1）最小限の情報（ラベルなしデータ及び教師オラクル）の利用」の研究に取り組んだ。
この課題について大きく2つの成果が得られた。1つ目の成果では、[Kossen+, ICML'21]の方法を拡張することで、能動的な複数モデルの性能評価（モデル選択）を実現した。この成果により、複数のモデルの中から最も少ないモデルを省コストで推定することが可能となった。2つ目の成果では、能動的モデル評価を能動学習の問題へと帰着する方法を考案した。具体的には二値分類問題の誤分類率の能動的評価の問題が、能動学習の一種であるレベル集合推定の問題に帰着できることを明らかにした。この帰着により、既存の能動学習の方法論を能動的モデル評価へと活用できるようになり、より効果的な技術開発ができると期待できる。これらの成果を国内学会（人工知能学会全国大会、IBISML研究会、IBIS）および国際ワークショップ（NeurIPS 2023 Workshop on Adaptive Experimental Design and Active Learning in the Real World）にて発表した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初計画において、最初の課題「（課題 1）最小限の情報（ラベルなしデータ及び教師オラクル）の利用」の研究に対して、(i) [Kossen+, ICML'21]の方法を基盤に発展させること、そして (ii) 能動的モデル評価を能動学習の問題へと帰着する方法について検討することを予定していた。
これら(i), (ii)のそれぞれについて予定通りに新たな成果をあげることができた。

Strategy for Future Research Activity

当初の研究計画通りに順調に研究が進んでいる。
今年度の研究成果を国際会議や学術雑誌に投稿するとともに、計画通りに研究をさらに発展させていく。

Research Products

• [Presentation] 少量のラベル付けによる複数モデルの性能比較 (2023)
  • Author(s): 松浦満, 原聡
  • Organizer: 2023年度人工知能学会全国大会
• [Presentation] レベル集合推定に基づく二値分類モデルの能動的評価 (2023)
  • Author(s): 落合拓真, 瀬野圭一朗, 松井孝太, 原聡
  • Organizer: 第51回IBISML研究会
• [Presentation] 分散最小化による能動的モデル選択 (2023)
  • Author(s): 松浦満, 原聡
  • Organizer: 第26回情報論的学習理論ワークショップ
• [Presentation] レベル集合推定に基づく二値分類モデルの能動的評価 (2023)
  • Author(s): 落合拓真, 瀬野圭一朗, 松井孝太, 原聡
  • Organizer: 第26回情報論的学習理論ワークショップ
• [Presentation] Active Model Selection: A Variance Minimization Approach (2023)
  • Author(s): Mitsuru Matsuura, Satoshi Hara
  • Organizer: NeurIPS 2023 Workshop on Adaptive Experimental Design and Active Learning in the Real World
  • Int'l Joint Research
• [Presentation] Active Testing of Binary Classification Model Using Level Set Estimation (2023)
  • Author(s): Takuma Ochiai, Keiichiro Seno, Kota Matsui, Satoshi Hara
  • Organizer: NeurIPS 2023 Workshop on Adaptive Experimental Design and Active Learning in the Real World
  • Int'l Joint Research