A universal system for constructive data preprocessing

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K11778
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60030:Statistical science-related
• Research Institution: Yamagata University
• Principal Investigator: YASUDA Muneki 山形大学, 大学院理工学研究科, 教授 (20532774)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: データ前処理 / 特徴抽出 / 確率的ニューラルネットワーク / 統計的機械学習 / スパースモデリング / 統計的近似アルゴリズム

Outline of Final Research Achievements

Good data pre-processings are important for various subsequent data science tasks. Therefore, a universal algorithm for data pre-processing is required. The main goal of this research is to build versatile algorithms for constructive (or active) data pre-processings which involve noise reduction and pruning of unwanted dimensions in data. The main results obtained within the research period are as follows.
(1) Fundamental models based on probabilistic neural networks and algorithms handling them, for constructive data pre-processings were constructed.
(2) Through constructing high-quality statistical approximation algorithms and proposal of extension model fused with sparse modelling, we have extensionally developed probabilistic neural networks. They are expected to realize truly general-purpose constructive data pre-processings.

Free Research Field

統計的機械学習

Academic Significance and Societal Importance of the Research Achievements

データ前処理は種々のデータサイエンス課題の成功に対する鍵となるが、良質なデータ前処理の実現には、しばしば分野の専門知識や、それを超えた特別なアイディアが必要となってしまう。最適なデータ前処理アルゴリズムは個々のデータの性質に大きく依存するため、常に最適化な結果を与える万能なデータ前処理アルゴリズムは存在しない。しかしながら、ある程度汎用的に利用できるデータ前処理器ならおそらく実現可能である。特に、ノイズ除去や不要次元の剪定などを含むような積極的前処理はより重要である。積極的前処理を含むような汎用的データ前処理アルゴリズムの存在は、「誰でも成果を出すことができる」の実現を近づけることとなる。