2023 Fiscal Year Research-status Report
Evolution of data science theory through analysis of solvable models
| Project/Area Number |
22K12179
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
小渕 智之 京都大学, 情報学研究科, 准教授 (40588448)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 情報統計力学 / データ科学 / 機械学習 / 可解モデル |
|---|
| Outline of Annual Research Achievements |
本研究は，ランダム特徴モデルという可解モデルの解析を行い，それを通じて機械学習・データ科学に現れる問題群の深い数理的理解と実用的数値解法を得ることを目標としており，具体的課題として申請時に３つの課題を設定した．本年度は，まず主に，初年度で得た課題２に関する結果の論文化を複数進めたが，技術的に困難な点がそれぞれの場合に発生し，進捗はしているが論文の完成には至っていない状況である．それ以外に，課題１に対応する非凸圧縮センシングの復号アルゴリズムについても取り組んだ．MCMC法とレプリカ交換法に基づいたアルゴリズム自体は完成したが，ハイパーパラメータの選択を客観的に行う規準が見つからず，かなり時間を費やしたが結局その点は諦めて論文化することにした．また，昨年度から始めたニューラル崩壊の研究を推し進め，数理的知見を整理することで，ニューラルネットワークの新しい損失関数と正則化を提案することが出来た．こちらについても論文化を開始したところである．また，課題３の偏ったデータに対する逆イジング問題の解析については，かなりのところまで理論解析を進めたものの，理論と数値実験の結果があと一歩のところで合わず，その原因が不明で現在進捗が止まっている状況である．また，それ以外に圧縮センシングの応用研究を別途初め，質量分析器など特定のアーキテクチャを持つ機器の高精度化・高分解能化を行う枠組みを開発した．これについては，すでに論文に投稿し採択されている．この方向性の研究も，現在推し進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究を進めたものの，成果として論文を得る段階にまで達せていない研究課題が全体として多い．課題３については，本事業期間中の論文化を諦めて撤退する方向を検討している．課題２については，現在用意している論文２稿については，遠くない未来に完成できると考えており，遅れて入るが，この課題については深刻なものとは考えていない．課題１の遅れは，ハイパーパラメータ選択の客観的規準に拘泥したことが原因であり，この点を妥協することで前に進むことができると考えている．以上，３つの初期設定課題については遅れが目立つが，一方で，課題申請後に新しく初めた研究は順調に進捗しており，全体として，やや遅れている程度と考えている．
|
| Strategy for Future Research Activity |
課題３については撤退する方針である．課題2に関する成果の論文化については，もう本質的な困難は無いと思うので，これを粛々と進める．課題１のMCMCを用いたアルゴリズムについては，ハイパーパラメータ選択において妥協することで進捗を得て論文を完成させる予定である．また，課題１で予定していたもう一つの内容であるメッセージ伝搬法を用いたアルゴリズムの開発は，次年度から着手する予定である．それ以外に，圧縮センシングの応用とニューラル崩壊の研究も着々と進める予定である．
|
| Causes of Carryover |
研究進捗状況の遅れから，学会発表などを減らしたため，旅費として使用する予定であった分が使われずに，結果として次年度使用学として生じた．その分，次年度は，論文として成果発表する内容が多く予定されているので，発表のための旅費として使用していく予定である．
|
