| Project/Area Number |
19K11844
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60020:Mathematical informatics-related
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
久保田 光一 中央大学, 理工学部, 教授 (90178046)
|
|---|
| Project Period (FY) |
2019-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2023: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2022: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
|
|---|
| Keywords | アルゴリズム微分 / 式テンプレート / 区分的微分可能関数 / 最適化 / 区分的微分可能 / 劣勾配 |
|---|
| Outline of Research at the Start |
機械学習の活性化関数のReLU 関数など，工学における最適化問題の目的関数は絶対値演算や最大最小値演算を含み得る．従来は微分不可能点を避けて最適化手法が設計されるが，本研究では微分不可能点の情報を積極的に活用する最適化手法の開発に取り組む．具体的には微分不可能点に対するAbsolute Normal Form (ANF) と命名された形式に対し，絶対値演算|x|の一般化である二乗和平方関数hypot(x,y)= √(x*x + y*y) （直角三角形斜辺関数）を導入する．これにより微分不可点の劣勾配情報を活用したより広い目的関数に対する最適化手法の開発を可能にすることが目的である．
|
| Outline of Annual Research Achievements |
5年目の2023年度は最終年度であり当初目的では全体の総括が目標であった．絶対値微分演算の理論的な処理については3層程度の神経回路網の最適化を例題として計算実験を進めてきたが，それと並行して2022年度に計画したアルゴリズム微分の全体像を概説するためのプログラム群を作成していく過程で，大学院学生市川大葵氏と共に進めていた絶対値微分演算処理も含むプログラム実装に関して多少進展があった．そのため2023年後半は後述する実装上の課題を解決すべく作業を実施した．その進展とは，アルゴリズム微分のリバース法実行のためのデータ構造の工夫とC++式テンプレートの利用により，アルゴリズム微分のコミュニティサイトに掲載されてるC++式テンプレートを利用するリバース法用アルゴリズム微分ライブラリの代表格のものと比較して，より高速な結果を得るものがあったことである．対象とするプログラムの規模は比較的小さい計算に関しては計算時間が半分になる場合もあり，規模が比較的大きいものについてはプログラム記述方法に制限はあるものの，やはり上記代表格のものを含めて比較検討した3種のリバース法ライブラリの中では最速の結果を得た実装方法の提案である．計測には google benchmark を利用しており，実験結果による実装法の比較の優劣の再現性もあることから，その方法をより詳しく調査した．提案内容は年度末の情報処理学会全国大会で発表を行った．また，調査の結果このような最速の結果を得られる場合もあるが，大きく不利になる場合があることもがわかり，現状でそれを部分的に解決する方法を提案し，その処理系を試作しつつある．このような状況で，当初最終年度の2023年度を繰り越し，2024年度に研究を継続することを申請した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
区分(3) やや遅れている．微分不可能点に関する最適化処理としては，機械学習における最適化過程でReLU関数の結果が微分不可能点近辺に全体のどの程度存在するのかという統計的なデータ収集にも取り組んでいる．上記概要に記したようにアルゴリズム微分計算時間の改善に結びつくデータ構造提案とその実装方法は本研究と深い関係があるため，その状況解明に取り組んでいる．この結果は前年度予定した実例に基づくアルゴリズム微分のプログラムを大きく改善できることを見込んでいる．ただし，当初予定の最適化処理の実験が不足していることは否定できない．
|
| Strategy for Future Research Activity |
当初予定では次の4つのテーマ，(i)絶対値演算や最小値・最大値演算を含む関数の微分不可能点における微分係数を列挙し，自乗和平方関数の処理を可能とする処理系開発，(ii)2次元問題として地理情報処理における施設配置問題などにおいて現れる最小値・最大値演算を含む最適化計算についての応用計算，(iii)誤差を含む計算における絶対値演算の微分法の確立，(iv)自乗和平方関数などを含む関数の高階微分，を設定し，毎年1テーマずつ取り組む予定であった．既に最終年度を迎え，研究期間を延長しており，少なくとも(i)についての前述の実装上の進展を取り入れた形での処理系完成を予定している．具体的には，コンパイル時処理と実行時処理の切り分けの整理を行い，コンパイル時処理を増やし実行時間を減少させることである．今後の実験については2023年度に購入した最新PCも併用して実施する．また，2024年秋に米国シカゴで開催予定のアルゴリズム微分の国際会議に出席し最新技術について情報収集する予定であり，出張の際には旅費を申請予定である．
|
