Application of deep unfolding to stochastic information processing algorithms
Project/Area Number |
22K17964
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 61040:Soft computing-related
|
Research Institution | Tokyo Institute of Technology |
Principal Investigator |
高邉 賢史 東京工業大学, 情報理工学院, 准教授 (60804218)
|
Project Period (FY) |
2022-04-01 – 2026-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
Keywords | 深層展開 / 情報統計力学 / 乱択アルゴリズム / 確率伝搬法 |
Outline of Research at the Start |
深層展開は既存の反復アルゴリズムの内部パラメタを学習することで収束特性を改善する深層学習的手法であり,近年最適化アルゴリズムへの適用が盛んである.本申請では,確率伝搬法やサンプリングといった確率的情報処理アルゴリズムへ深層展開を適用することでそれらの収束特性を改善可能であるか検討する.さらに,確率的情報処理アルゴリズムに対する解析手法を援用することで,深層展開の学習結果であるパラメタ調整戦略を理論的に解明し新たな深層展開の数理の創出と応用を試みる.
|
Outline of Annual Research Achievements |
深層展開は既存の反復アルゴリズムの内部パラメタを学習することで収束特性を改善する深層学習的手法であり,近年最適化アルゴリズムへの適用が盛んである.本研究課題では,確率伝搬法やサンプリングといった確率的情報処理アルゴリズムへ深層展開を適用することでそれらのアルゴリズムの収束特性を改善可能であるかを検討する. 本年度は,主にサンプリングアルゴリズムへの深層展開に関する検討を行った.一般にマルコフ連鎖モンテカルロ法の内部処理は微分不可能であるため,深層展開を直接適用することは困難である.この困難点を回避するため,(1) 粒子型サンプラーである粒子型変分推定法の利用,(2) 統計力学で用いられるHubbard-Stratonovich変換を利用したモンテカルロ法,という2つの微分可能アルゴリズムに対して深層展開を適用することを検討した.(1)に関してはStein Variational Gradient Descentが再生核ヒルベルト空間上の勾配法であることに着目し,そのステップサイズを深層展開により学習した.結果として,多峰的な確率分布からの乱数生成やベイジアンニューラルネットワークの学習などが効率よく行えることを確認した.(2)に関しては,無線通信における多入力多出力 (MIMO) 信号推定問題に対してHubbard-Stratonovich変換を利用した新たな学習可能信号検出器を開発した.このMIMO信号検出器は低計算量であるにも関わらず比較的良好な信号検出性能を示すことを数値的に確認した.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り概ね順調に進展している.Hubbard-Stratonovich変換を用いたモンテカルロ法の深層展開は当初の想定以上の進展が予想されており,現在研究を進めている.
|
Strategy for Future Research Activity |
サンプリングに対する深層展開は概ね順調に研究が進んでいるため,これを継続する予定である.確率伝搬法に対する深層展開については現在扱う問題を選定中であり,研究を徐々に加速していく予定である.
|
Report
(1 results)
Research Products
(3 results)