| Project/Area Number |
22K12179
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
小渕 智之 京都大学, 情報学研究科, 准教授 (40588448)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
|
|---|
| Keywords | 情報統計力学 / データ科学 / 機械学習 / 可解モデル |
|---|
| Outline of Research at the Start |
本研究は，機械学習・データ科学で使われているいくつかの統計モデルの推定限界などの性質を，情報統計力学の手法をもって解明する．具体的には，非凸圧縮センシング・連合学習・ゼロショット学習・逆イジング問題を対象とする．これにより，実データ解析における結果の解釈や，最適化のための計算量に対する指針を与えることができる．理論結果と実データ解析結果を比較することで，実データ解析におけるパフォーマンスを定量的に評価することを可能にする．さらに，個別に現れてくる困難を逐一克服することで，情報統計力学ひいてはデータ科学の理論自体を進化させることを目指す．
|
| Outline of Annual Research Achievements |
本研究は，ランダム特徴モデルという可解モデルの解析を行い，それを通じて機械学習・データ科学に現れる問題群の深い数理的理解と実用的数値解法を得ることを目標としており，具体的課題として申請時に３つの課題を設定した．本年度は，まず主に，初年度で得た課題２に関する結果の論文化を複数進めたが，技術的に困難な点がそれぞれの場合に発生し，進捗はしているが論文の完成には至っていない状況である．それ以外に，課題１に対応する非凸圧縮センシングの復号アルゴリズムについても取り組んだ．MCMC法とレプリカ交換法に基づいたアルゴリズム自体は完成したが，ハイパーパラメータの選択を客観的に行う規準が見つからず，かなり時間を費やしたが結局その点は諦めて論文化することにした．また，昨年度から始めたニューラル崩壊の研究を推し進め，数理的知見を整理することで，ニューラルネットワークの新しい損失関数と正則化を提案することが出来た．こちらについても論文化を開始したところである．また，課題３の偏ったデータに対する逆イジング問題の解析については，かなりのところまで理論解析を進めたものの，理論と数値実験の結果があと一歩のところで合わず，その原因が不明で現在進捗が止まっている状況である．また，それ以外に圧縮センシングの応用研究を別途初め，質量分析器など特定のアーキテクチャを持つ機器の高精度化・高分解能化を行う枠組みを開発した．これについては，すでに論文に投稿し採択されている．この方向性の研究も，現在推し進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究を進めたものの，成果として論文を得る段階にまで達せていない研究課題が全体として多い．課題３については，本事業期間中の論文化を諦めて撤退する方向を検討している．課題２については，現在用意している論文２稿については，遠くない未来に完成できると考えており，遅れて入るが，この課題については深刻なものとは考えていない．課題１の遅れは，ハイパーパラメータ選択の客観的規準に拘泥したことが原因であり，この点を妥協することで前に進むことができると考えている．以上，３つの初期設定課題については遅れが目立つが，一方で，課題申請後に新しく初めた研究は順調に進捗しており，全体として，やや遅れている程度と考えている．
|
| Strategy for Future Research Activity |
課題３については撤退する方針である．課題2に関する成果の論文化については，もう本質的な困難は無いと思うので，これを粛々と進める．課題１のMCMCを用いたアルゴリズムについては，ハイパーパラメータ選択において妥協することで進捗を得て論文を完成させる予定である．また，課題１で予定していたもう一つの内容であるメッセージ伝搬法を用いたアルゴリズムの開発は，次年度から着手する予定である．それ以外に，圧縮センシングの応用とニューラル崩壊の研究も着々と進める予定である．
|
