Large-scale sparse learning using asynchronous architecture for interpretable model

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K11213
• Research Institution: The University of Tokyo
• Principal Investigator: 松島 慎 東京大学, 大学院総合文化研究科, 准教授 (90721837)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: 機械学習 / 解釈可能性 / スパースモデリング / 凸最適化

Outline of Annual Research Achievements

本研究では、認識科学的手法によるデータ分析のための複雑なモデルを、大規模データから学習する非同期最適化スキームを開発した。具体的には、加法モデルや多項式モデルなど、説明変数の意味を損なわないまま、線形モデルよりも複雑な予測を実現するモデルに着目した。これらのモデルを、非同期的なプロセスを用いた最適化スキームを利用することにより、大規模データから効率的に学習し、解釈可能な複雑なモデルを生成することを目指す。

本年度はまず、同期的なプロセスにより加法モデルを学習するアルゴリズムを開発した。このアルゴリズムは、非常に効率の良い並列化可能な近接座標勾配降下法を利用し、一般的な損失関数にも適用可能なアルゴリズムであるため、クラス分類や他クラス分類など、さまざまな応用が可能である。また、学習に用いた正則化項も性質がよく、解のスパース性や滑らかさに関する局所適合性をもちながら効率的に近接勾配演算を計算することが可能である。この成果を論文にまとめ、2024年のECMLPKDDに投稿した。

さらに、この定式化を関数データ解析にも適用するという新しい着想も得られた。関数データ解析は、データが時間や空間の連続した関数として表現される場合に有用であり、加法モデルの適用範囲を広げる可能性がある。今後の研究では、非同期最適化スキームを他の複雑なモデルにも適用し、さらに大規模データからの学習効率を向上させることを目指す。これらの成果により、複雑でありながら解釈可能なモデルを用いたデータ分析が進展し、データの解釈性と信頼性の向上に寄与することが期待される。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

同期的なプロセスにより加法モデルを学習するアルゴリズムを開発した。このアルゴリズムは、非常に効率の良い並列化可能な近接座標勾配降下法を利用し、一般的な損失関数にも適用可能なアルゴリズムであるため、クラス分類や他クラス分類など、さまざまな応用が可能である。また、学習に用いた正則化項も性質がよく、解のスパース性や滑らかさに関する局所適合性をもちながら効率的に近接勾配演算を計算することが可能である。この成果を論文にまとめ、2024年のECMLPKDDに投稿した。

Strategy for Future Research Activity

本年度得られた成果について、この定式化を関数データ解析にも適用するという新しい着想も得られた。関数データ解析は、データが時間や空間の連続した関数として表現される場合に有用であり、加法モデルの適用範囲を広げる可能性がある。
応用分野として、画像の特徴点について、高次の予測等の知的処理が考えられる。

Causes of Carryover

今年度予定していた論文発表に伴う学会出張が、次年度に延期されたためこれに伴い、関連する旅費を次年度に繰り越すこととした。次年度の使用計画としては、他の研究発表や共同研究のための出張費用として活用する予定である。