Integration of indices for multicollinearity detection

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K04527
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 25010:Social systems engineering-related
• Research Institution: Tokyo University of Agriculture and Technology
• Principal Investigator: Miyashiro Ryuhei 東京農工大学, 工学(系)研究科(研究院), 准教授 (50376860)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: ＯＲ / 統計学 / 特徴選択 / 変数選択 / 整数最適化

Outline of Final Research Achievements

In this study, we first developed a feature selection algorithm using integer optimization for the feature selection problem in canonical correlation analysis. The feature selection problem contains the process of solving nonconvex and nonlinear integer optimization problems, which are difficult to handle by an off-the-shelf optimization solver. We also implemented a new branch-and-bound method for this integer optimization problem and confirmed that the algorithm is about 100 times faster than existing solvers. Next, we proposed a formulation for the problem of maximizing the distance between centers between two classes in high-dimensional spaces, which appears in support vector machines and other applications. The maximization problem has a nonconvex, nonconcave and nonlinear objective function, and is extremely difficult to optimize for a general purpose solver. For this maximization problem, we developed an integer linear optimization formulation.

Free Research Field

ＯＲ

Academic Significance and Societal Importance of the Research Achievements

現象を観察して得られたデータから重回帰分析で回帰モデルを作成する際に、無関係な特徴を削除して必要な特徴だけを回帰モデルに組み入れることを特徴選択と呼ぶ。特徴選択は変数選択とも言われ、古くから統計学における課題であったが、近年のデータサイエンスの流行に伴い改めて重要性が指摘されている。本研究では、特徴選択における二つの重要な問題（正準相関分析における特徴選択問題、高次元空間におけるクラス間の重心間距離最大化問題）に対して、新しい数理モデル化を提案した。これらの問題はその非線形性から、従来のソフトウェアでは解くのが困難だったが、本研究の提案手法により高速に最適な特徴選択が行えるようになった。