Analysis and creation of numerical analysis algorithms using product-type neural network deep learning

• Project/Area Number: 24K00540
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 12040:Applied mathematics and statistics-related; Basic Section 12030:Basic mathematics-related; Sections That Are Subject to Joint Review: Basic Section12030:Basic mathematics-related , Basic Section12040:Applied mathematics and statistics-related
• Research Institution: Osaka University
• Principal Investigator: 降籏 大介 大阪大学, サイバーメディアセンター, 教授 (80242014)
• Co-Investigator(Kenkyū-buntansha): 松尾 宇泰 東京大学, 大学院情報理工学系研究科, 教授 (90293670) ; 田中 健一郎 東京大学, 大学院情報理工学系研究科, 准教授 (70610640) ; 宮武 勇登 大阪大学, サイバーメディアセンター, 准教授 (60757384) ; 佐藤 峻 東京大学, 大学院情報理工学系研究科, 助教 (40849072)
• Project Period (FY): 2024-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000); Fiscal Year 2027: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2026: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000); Fiscal Year 2025: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2024: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
• Keywords: 積型ニューラルネットワーク / 深層学習 / 数値解析学的アプローチ

Outline of Research at the Start

深層学習のパラメータ規模問題に対し積型ニューラルネットワークの一種の導入を考える．入力側で変数の対数変換を，出力側に指数変換を追加し内部では積計算をせずに出力で変数の積を実現し,計算量増大を招かずに強い非線形性を実現できる．
深層学習と数値解析学の関係性を調べ実用困難性の理論的背景を構成する試みも活発になりつつあり，われわれのアプローチを連携する成果は大きいと期待できる．つまり、実用上の困難を積型NNによって克服することを想定し，深層学習に対する失われていた数値解析学的アプローチとは何かを求め，創出することであり，数値解析学の立場から切り込もうというのが本研究の目的である．