| Project/Area Number |
21K12045
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
大久保 潤 埼玉大学, 理工学研究科, 教授 (70451888)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
|
|---|
| Keywords | 機械学習 / ニューラルネットワーク / 確率微分方程式 / 双対過程 / リッジレット変換 / Koopman作用素 |
|---|
| Outline of Research at the Start |
数理モデルの方程式からニューラルネットワークを直接構築する枠組みを提案する。鍵はKoopman作用素と呼ばれる概念を経由して、統計量を数値的に評価する枠組みである。データを必要としない事前学習をおこない、その後でデータに基づいて学習をして微修正をすることにより、学習に必要なデータを減らすことに寄与する。
制御系など、確率微分方程式系が使われる対象は多い。本研究では対象を絞り研究を遂行することで、具体的な計算手法を提案する。これにより、データとモデル、そして方程式とをつなぐ方法論の構築へと寄与するとともに、将来的な産業応用における波及効果を狙う。
|
| Outline of Annual Research Achievements |
まず、前年度に実施していた、方程式から双対過程を利用して情報を取り出し、その情報をニューラルネットワークに埋め込む方法についてまとめた英語論文が公開・出版された。この手法は、双対過程そのものがテイラー展開に類似している点に着想があり、その係数を利用して学習をしている。そのため、原点付近での性能向上が見られている。原点をシフトさせることも可能であるため、注目している領域での学習性能を高めたい場合の応用にも適していると期待される。提案手法の途中計算において、必要となる最適化計算に要する時間が長いという問題点はあるものの、当初の目標であるKoopman作用素を用いたニューラルネットワークの構築について、ひと段落ついたことになる。
研究計画3年目となる本年度は、これまでとは異なる観点からニューラルネットワークを構築する研究を進めた。具体的にはリッジレット変換と呼ばれる手法を利用して、ニューラルネットワークの初期重みを決める研究である。入力層、中間層、出力層からなる3層のニューラルネットワークにおいて、中間層のノード数を無限大にした極限がリッジレット解析とつながることが先行研究で指摘されている。通常はランダムに初期化される重みを関数や方程式の情報を利用して選ぶことにより、少量データでの学習が可能になること、場合によっては追加の学習なしで性能を発揮することも期待できる。
本研究計画の対象である確率微分方程式に対する適用を見据えて、まずは先行研究の理論的枠組みの見直しを実施した。その結果、先行研究において発見的に提案されていた重みの初期化方法について、改良方法を考案した。予備的な結果として、先行研究における初期化法よりも大幅に性能を向上できる場合があることもわかっている。この成果に関してはより詳細に数値実験を用いて検証中であり、2024年度中の学会発表および英語論文へのまとめを検討している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の目標であった「双対過程とKoopman作用素を利用したニューラルネットワークの構築」については、現時点で英語学術論文にもまとめて出版されており、この点では当初の予定よりも早く進行している。一方で、最適化に時間がかかること、大規模なネットワーク構築にはまだ課題がある。
また、リッジレット変換を用いた別のアプローチについても検討に着手でき、見通しが立っている点については、当初の計画以上に進展していると言える。
以上を踏まえて、当初の計画以上に進展している部分もあるが、新たな検討課題も出てきていることから、おおむね順調に進展しているとした。
|
| Strategy for Future Research Activity |
リッジレット変換を用いたニューラルネットワークの初期重み選択方法について、もう少し数値的な検討を進める。理論的にも先行研究とは少し違う観点を見つけられているため、ひとまずはこれらの成果をまとめる予定である。
その上で、双対過程およびKoopman作用素の枠組みとリッジレット変換の枠組みとの組み合わせについて検討を進める予定である。特に、本研究計画の対象である「確率微分方程式」のニューラルネットワークへの埋め込みについて、具体的な検討に着手したい。
|
