| 研究課題/領域番号 |
24K00540
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分12040:応用数学および統計数学関連
小区分12030:数学基礎関連
合同審査対象区分:小区分12030:数学基礎関連、小区分12040:応用数学および統計数学関連
|
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
降籏 大介 大阪大学, D3センター, 教授 (80242014)
|
|---|
| 研究分担者 |
松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670)
田中 健一郎 東京科学大学, 情報理工学院, 教授 (70610640)
宮武 勇登 大阪大学, D3センター, 准教授 (60757384)
佐藤 峻 東京大学, 大学院情報理工学系研究科, 助教 (40849072)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2028-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
18,720千円 (直接経費: 14,400千円、間接経費: 4,320千円)
2027年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2026年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円)
2025年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2024年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
|
|---|
| キーワード | 深層学習 / 数値解析 / 微分方程式 / 数値積分 / 関数近似 / 積型ニューラルネットワーク / 数値解析学的アプローチ |
|---|
| 研究開始時の研究の概要 |
深層学習のパラメータ規模問題に対し積型ニューラルネットワークの一種の導入を考える．入力側で変数の対数変換を，出力側に指数変換を追加し内部では積計算をせずに出力で変数の積を実現し,計算量増大を招かずに強い非線形性を実現できる．
深層学習と数値解析学の関係性を調べ実用困難性の理論的背景を構成する試みも活発になりつつあり，われわれのアプローチを連携する成果は大きいと期待できる．つまり、実用上の困難を積型NNによって克服することを想定し，深層学習に対する失われていた数値解析学的アプローチとは何かを求め，創出することであり，数値解析学の立場から切り込もうというのが本研究の目的である．
|
| 研究実績の概要 |
申請計画書の通り本研究は数値微分方程式班と関数近似・数値積分班の2つの作業班を軸とし、俯瞰・統合班および深層学習専門家たる協力者を加えて全体を構成するものであり、計画はいくつかのフェーズからなる。2024年度は主に計画第1フェーズ「具体的研究に基づく予備調査(特に積型 NN について)」の研究を推進した。数値解析学的アプローチについては専門家との意見交換を行っていることから、本研究計画班の持つ学問的背景にて具体的に行える実験的研究から着手し、予備知見を蓄積するフェーズとなる。NN には様々なものがあるが、本フェーズの計画は ResNet 等構造が単純なものについて性質と積型 NN 導入による効果等を調べるものであった。
そして、数値微分方程式班はテーマ「微分方程式の数値解法に基づく実験的 NN 構築」に沿って研究を進めた。具体的には、数値解法と関連づけられる可能性が示唆されている ResNet および PolyNet、FractalNet等の NN について「数値解法から生まれる新深層学習」が近年調査が始まったばかりであることから、数値解析学の観点から積型 NN を基盤に NN を構築し画像認識等でその性能を評価すべく実験的調査を行った。
これに対し、関数近似・数値積分班は「数値積分公式に基づく実験的深層学習構築」をテーマとした。この観点からの新 NN 構築は未解明であるため、種々の数値積分公式の適用・開発を試みるものである。本計画班はその試みの一部の実績(単層 NN にある被積分関数に対し適切な重み・分点の組を数値解析学的に定めるアルゴリズムなど)を持つことから、積型 NN などの導入も含めて NN 一般に対してこの実績を拡張・発展させるべく研究を推進し、新 NN の構築を模索した。
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
研究実績の項目に記載した通り、申請計画書に沿って本研究に対し数値微分方程式班と関数近似・数値積分班の2つの作業班を構成し、これを軸とし、俯瞰・統合班および深層学習専門家たる協力者を加えて研究実態全体を構成した。全計画はいくつかのフェーズからなるが、2024年度は主に計画第1フェーズ「具体的研究に基づく予備調査(特に積型 NN について)」の研究を推進した。専門家との数値解析学的アプローチに関する意見交換に基づく知見から、計画班の学問的背景をもとに具体的な実験的研究から着手し、予備知見を蓄積するフェーズである。NN について言えば、本フェーズは ResNet 等の比較的単純な構成の NN のその性質と積型 NN 導入による効果等を調べるものである。
まず、数値微分方程式班はテーマ「微分方程式の数値解法に基づく実験的 NN 構築」に沿って研究を推進した。内容としては数値解法との関連が示唆される ResNet および PolyNet、FractalNet等の NN についての数値解法から生まれる新深層学習の調査が不十分である状況を踏まえて数値解析学の観点から積型 NN を基盤に NN を構築し画像認識等でその性能を評価するために実験的調査を行った。また、関数近似・数値積分班は「数値積分公式に基づく実験的深層学習構築」をテーマとして研究を推進した。この観点からの新 NN 構築には未解明な部分も多いため種々の数値積分公式の適用・開発を試みるものである。本計画班のもつその試みの一部の実績(単層 NN にある被積分関数に対し適切な重み・分点の組を数値解析学的に定めるアルゴリズムなど)を基盤として積型 NN の導入等、NN 一般に対してこの実績を拡張・発展させるべく研究を推進した。
|
| 今後の研究の推進方策 |
今後は申請書に記載した計画の第2フェーズ、第3フェーズへと研究段階を進める。2025年度はその第2フェーズ「数値解析学的アプローチ基盤の構築」を行う。具体的には、下記に示す研究遂行の全体像を統合班が俯瞰し、上記項目に述べた二つの作業班の情報共有を促し全体として整合的な基盤確立を目指す。
より具体的には、数値微分方程式班は「ネットワークの数値微分方程式表現の枠組探究」をテーマとし、下記の3つの研究を推進する。第一は後退誤差解析に基づいて、NN と背後の力学系を統一的に理解する理論基盤作成である。二つ目は、第一の成果に基づき数値解法の諸概念(解法の陽的・陰的、安定性、近似精度等)のNN での対応物を明瞭にする。これは PolyNet を陰的Euler法として解釈する既存研究のなどが該当する(が、この既存研究には数学的誤謬がみられる)。三つ目はさらに議論をすすめ構造保存解法選択の可能性を検討するもので、たとえば画像ラベリング等のクラスタリングにHamilton系が優位な可能性を指摘する既存研究があることから、シンプレクティック解法等の構造保存解法に強い期待が持てる。
そして関数近似・数値積分班はテーマ「ネットワーク積分変換における数値積分理論の枠組探究」に従い研究を行う。具体的には次の三つのサブテーマに沿う。一つ目は有望な数値積分公式の積分変換における誤差評価を行い理論基盤を創るもので、数値解析学で知られた手法(函数論的・関数解析学的手法など)が有用である。二つ目はNN の関数表現に適切な関数空間を模索するもので、最後は既存研究が NN の深さ方向に課していた大変に強い制約を緩和して積分変換とその近似について検討するものである。
|
