| Project/Area Number |
22K17964
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
高邉 賢史 東京工業大学, 情報理工学院, 准教授 (60804218)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 深層展開 / 情報統計力学 / 乱択アルゴリズム / 確率伝搬法 |
|---|
| Outline of Research at the Start |
深層展開は既存の反復アルゴリズムの内部パラメタを学習することで収束特性を改善する深層学習的手法であり，近年最適化アルゴリズムへの適用が盛んである．本申請では，確率伝搬法やサンプリングといった確率的情報処理アルゴリズムへ深層展開を適用することでそれらの収束特性を改善可能であるか検討する．さらに，確率的情報処理アルゴリズムに対する解析手法を援用することで，深層展開の学習結果であるパラメタ調整戦略を理論的に解明し新たな深層展開の数理の創出と応用を試みる．
|
| Outline of Annual Research Achievements |
深層展開は既存の反復アルゴリズムの繰り返し構造を時系列順に展開し，その内部パラメタを学習可能パラメタとみなし，深層学習の技法を利用することで訓練データに適したパラメタ調節を機械的に行う深層学習手法の一種である．本年度は特にサンプリングへの深層展開への適用に関して進展が見られた．サンプリングにはマルコフ連鎖モンテカルロ法 (MCMC) に代表される，逐次的にサンプルを更新する手法と，多数のサンプリングのヒストグラムによって目的分布を近似する粒子的な手法に大別される．
本年はMCMCを利用した深層展開アルゴリズムの開発を行った．MCMCが採択/棄却プロセスを有するため自動微分が困難であることから，深層展開の直接的な適用は困難と考えられてきた．そこで，線形制約つき2値最適化問題のソルバーとして知られるMCMCを援用した勾配法に着目し，勾配法のステップサイズを深層展開によって学習するという戦略を取った．本年度は，前年度の結果を一般化し，サンプリング平均が解析的に得られない場合を取り扱った．この場合はMCMCの微分不可能性が問題となるが，我々は必要な微分値が観測量の分散に相当することを利用してMCMCによって効率的に見積もる方法を開発した．これによって，MCMCを含むアルゴリズムの深層展開を初めて実現し，パラメタの学習の結果アルゴリズム性能が大幅に向上することを確認した．以上の結果は日本物理学会で発表し，査読付き論文誌にて採択され現在印刷中である．
また，近年研究が盛んな量子アルゴリズムをエミュレートする古典最適化ソルバーの一種であるシミュレーティッド分岐マシン (SB) に深層展開を適用し，無線通信の信号検出問題に応用することを試みた．結果として，低計算量かつ，従来法や非学習SBよりも良好な信号検出性能を示す学習可能検出器を提案し，現在論文投稿中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り概ね順調に進展している．特にMCMCを援用した勾配法に対する深層展開に関して，微分不可能性を回避した効率的な学習方法を提案し，学習後のアルゴリズム性能に関しても肯定的な結果が得られた．これらは本研究課題における重要な成果であると考えている．
|
| Strategy for Future Research Activity |
MCMCを利用した勾配法は，本来量子アニーリングを効率的に使用するために提案された手法であり，本研究課題の成果も量子アニーリングへ適用可能であると考えられる．そこで次年度には深層展開型アルゴリズムを量子アニーリングに応用することを目指す．また，SVGDについては探索空間を拡張するアイデアに基づき効率的なサンプリングアルゴリズムを構築するとともに，深層展開によってより自由度の高い学習可能アルゴリズムを実現することを目指す．
|
