Active Evaluation of Machine Learning Models

• Project/Area Number: 23K28146
• Project/Area Number (Other): 23H03456 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related; Basic Section 60030:Statistical science-related; Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
• Research Institution: The University of Electro-Communications (2024); Osaka University (2023)
• Principal Investigator: 原 聡 電気通信大学, 大学院情報理工学研究科, 教授 (40780721)
• Co-Investigator(Kenkyū-buntansha): 松井 孝太 名古屋大学, 医学系研究科, 講師 (50737111)
• Project Period (FY): 2024-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000); Fiscal Year 2027: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2026: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2025: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000); Fiscal Year 2024: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: 機械学習 / 能動学習 / 能動的評価

Outline of Research at the Start

スモールデータへ機械学習を適用するためには、スモールデータでモデルが学習できることに加えてモデルの性能が評価できることが必須である。しかし、データの数が限られるスモールデータ問題では、必然的に評価に使えるラベル付きデータの数も限られ適切な性能評価は困難である。本研究ではこの課題解決のためにモデルの性能評価に有用なデータを選んでラベルを付与する「能動的モデル評価」技術の研究に取り組む。

Outline of Annual Research Achievements

スモールデータへ機械学習を適用するためには、スモールデータでモデルが学習できることに加えてモデルの性能が評価できることが必須である。しかし、データの数が限られるスモールデータ問題では、必然的に評価に使えるラベル付きデータの数も限られ適切な性能評価は困難である。本研究プロジェクトではこの課題解決のためにモデルの性能評価に有用なデータを選んでラベルを付与する「能動的モデル評価」技術の研究に取り組む。そして開発した「能動的モデル評価」の方法を医療や材料探索など実問題に適用しそのの有効性を検証する。

前年度に引き続き、「最小限の情報（ラベルなしデータ及び教師オラクル）」の利用に基づく能動的評価の研究を推進した。まず、前年度から継続して取り組んだ能動的評価をモデル選択へと拡張する研究においては、既存研究に対する優位性を明確に示した。特にImageNet V2を用いた深層画像分類モデルへも提案した評価手法が有効であることを実証した。このような深層モデルへの能動的評価の有効性を実証した点は本研究の主要な貢献の一つと言えるだろう。本研究の成果は、機械学習分野の主要な論文誌の一つであるMachine Learningに採択された。さらに、機械学習モデルの公平性評価に関する研究にも着手した。この研究では、評価方法にわずかな恣意性が許容されるだけでも公平性評価の結果の信頼性が大きく損なわれることを明らかにし、そのための具体的な方法論を考案した。本成果は国際会議ACML2024に採択され、Best Paper Awardを受賞した。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

「最小限の情報（ラベルなしデータ及び教師オラクル）の利用」について「[Kossen+, ICML'21]の方法を基盤に発展させる」研究については順調に進展し、成果が分野の主要な論文誌に採択された。「能動的モデル評価を能動学習の問題へと帰着する方法」については、既存の能動学習の方法がそのままでは上手くいかないことがわかり、そこから新たな研究の方向性が見えてきた。これらに加えて、あらたに公平性の評価についての研究にも着手し、その成果が国際会議でBest Paper Awardに選ばれた。これは当初の予定以上の成果である。

Strategy for Future Research Activity

当初の研究計画以上に研究が進んでいる。
今年度の研究成果を国際会議や学術雑誌に投稿するとともに、新たな研究テーマも含めてさらに研究を発展させていく。

Research Products

• [Journal Article] Data Cleansing for GANs (2025)
  • Author(s): Naoyuki Terashita, Hiroki Ohashi, Satoshi Hara
  • Journal Title: IEEE Transactions on Neural Networks and Learning Systems Volume: - Issue: 6 Pages: 1-14
  • DOI: 10.1109/tnnls.2025.3529540
  • Peer Reviewed / Open Access
• [Journal Article] Path-Specific Counterfactual Fairness via Dividend Correction (2025)
  • Author(s): Daisuke Hatano, Satoshi Hara, Hiromi Arai
  • Journal Title: Transactions on Machine Learning Research Volume: -
  • Peer Reviewed / Open Access
• [Journal Article] Active model selection: A variance minimization approach (2024)
  • Author(s): Satoshi Hara, Mitsuru Matsuura, Junya Honda, Shinji Ito
  • Journal Title: Machine Learning Volume: 113 Issue: 11-12 Pages: 8327-8345
  • DOI: 10.1007/s10994-024-06603-1
  • Peer Reviewed / Open Access
• [Presentation] スライスワッサースタイン距離を用いた高速なStealthily Biased Sampling (2024)
  • Author(s): 山本雄大, 原聡
  • Organizer: 2024年度人工知能学会全国大会
• [Presentation] Fast Stealthily Biased Sampling Using Sliced Wasserstein Distance (2024)
  • Author(s): Yudai Yamamoto, Satoshi Hara
  • Organizer: The 16th Asian Conference on Machine Learning (ACML'24)
  • Int'l Joint Research
• [Presentation] レベルセット推定の停止基準 (2024)
  • Author(s): 石橋英朗, 松井孝太, 沓掛健太朗, 日野英逸
  • Organizer: 2024年度人工知能学会全国大会
• [Presentation] 臨床試験における過去データ適応的利用のための重要度重み付き推定法 (2024)
  • Author(s): 松井孝太, 大東智洋, 金森敬文, 土田潤, 坂巻顕太郎
  • Organizer: 第27回情報論的学習理論ワークショップ（IBIS2024）
• [Presentation] 少量のラベル付けによる複数モデルの性能比較 (2023)
  • Author(s): 松浦満, 原聡
  • Organizer: 2023年度人工知能学会全国大会
• [Presentation] レベル集合推定に基づく二値分類モデルの能動的評価 (2023)
  • Author(s): 落合拓真, 瀬野圭一朗, 松井孝太, 原聡
  • Organizer: 第51回IBISML研究会
• [Presentation] 分散最小化による能動的モデル選択 (2023)
  • Author(s): 松浦満, 原聡
  • Organizer: 第26回情報論的学習理論ワークショップ
• [Presentation] レベル集合推定に基づく二値分類モデルの能動的評価 (2023)
  • Author(s): 落合拓真, 瀬野圭一朗, 松井孝太, 原聡
  • Organizer: 第26回情報論的学習理論ワークショップ
• [Presentation] Active Model Selection: A Variance Minimization Approach (2023)
  • Author(s): Mitsuru Matsuura, Satoshi Hara
  • Organizer: NeurIPS 2023 Workshop on Adaptive Experimental Design and Active Learning in the Real World
  • Int'l Joint Research
• [Presentation] Active Testing of Binary Classification Model Using Level Set Estimation (2023)
  • Author(s): Takuma Ochiai, Keiichiro Seno, Kota Matsui, Satoshi Hara
  • Organizer: NeurIPS 2023 Workshop on Adaptive Experimental Design and Active Learning in the Real World
  • Int'l Joint Research