2023 Fiscal Year Research-status Report
Optimization by Piecewise Linearization with Algorithmic Differentiation
Project/Area Number |
19K11844
|
Research Institution | Chuo University |
Principal Investigator |
久保田 光一 中央大学, 理工学部, 教授 (90178046)
|
Project Period (FY) |
2019-04-01 – 2025-03-31
|
Keywords | アルゴリズム微分 / 式テンプレート / 区分的微分可能関数 |
Outline of Annual Research Achievements |
5年目の2023年度は最終年度であり当初目的では全体の総括が目標であった.絶対値微分演算の理論的な処理については3層程度の神経回路網の最適化を例題として計算実験を進めてきたが,それと並行して2022年度に計画したアルゴリズム微分の全体像を概説するためのプログラム群を作成していく過程で,大学院学生市川大葵氏と共に進めていた絶対値微分演算処理も含むプログラム実装に関して多少進展があった.そのため2023年後半は後述する実装上の課題を解決すべく作業を実施した.その進展とは,アルゴリズム微分のリバース法実行のためのデータ構造の工夫とC++式テンプレートの利用により,アルゴリズム微分のコミュニティサイトに掲載されてるC++式テンプレートを利用するリバース法用アルゴリズム微分ライブラリの代表格のものと比較して,より高速な結果を得るものがあったことである.対象とするプログラムの規模は比較的小さい計算に関しては計算時間が半分になる場合もあり,規模が比較的大きいものについてはプログラム記述方法に制限はあるものの,やはり上記代表格のものを含めて比較検討した3種のリバース法ライブラリの中では最速の結果を得た実装方法の提案である.計測には google benchmark を利用しており,実験結果による実装法の比較の優劣の再現性もあることから,その方法をより詳しく調査した.提案内容は年度末の情報処理学会全国大会で発表を行った.また,調査の結果このような最速の結果を得られる場合もあるが,大きく不利になる場合があることもがわかり,現状でそれを部分的に解決する方法を提案し,その処理系を試作しつつある.このような状況で,当初最終年度の2023年度を繰り越し,2024年度に研究を継続することを申請した.
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
区分(3) やや遅れている.微分不可能点に関する最適化処理としては,機械学習における最適化過程でReLU関数の結果が微分不可能点近辺に全体のどの程度存在するのかという統計的なデータ収集にも取り組んでいる.上記概要に記したようにアルゴリズム微分計算時間の改善に結びつくデータ構造提案とその実装方法は本研究と深い関係があるため,その状況解明に取り組んでいる.この結果は前年度予定した実例に基づくアルゴリズム微分のプログラムを大きく改善できることを見込んでいる.ただし,当初予定の最適化処理の実験が不足していることは否定できない.
|
Strategy for Future Research Activity |
当初予定では次の4つのテーマ,(i)絶対値演算や最小値・最大値演算を含む関数の微分不可能点における微分係数を列挙し,自乗和平方関数の処理を可能とする処理系開発,(ii)2次元問題として地理情報処理における施設配置問題などにおいて現れる最小値・最大値演算を含む最適化計算についての応用計算,(iii)誤差を含む計算における絶対値演算の微分法の確立,(iv)自乗和平方関数などを含む関数の高階微分,を設定し,毎年1テーマずつ取り組む予定であった.既に最終年度を迎え,研究期間を延長しており,少なくとも(i)についての前述の実装上の進展を取り入れた形での処理系完成を予定している.具体的には,コンパイル時処理と実行時処理の切り分けの整理を行い,コンパイル時処理を増やし実行時間を減少させることである.今後の実験については2023年度に購入した最新PCも併用して実施する.また,2024年秋に米国シカゴで開催予定のアルゴリズム微分の国際会議に出席し最新技術について情報収集する予定であり,出張の際には旅費を申請予定である.
|
Causes of Carryover |
計算機性能は年々上昇していることから,最新CPUのPCを1台購入し,実験に充当した.2023年度後半から実施している処理系の効率化には最新コンパイラが必要でありこのPCは計算実験に大きく貢献している.当初予定していた出張旅費がcovid-19のため未使用になっていたが,2024年秋に開催の国際ワークショップ等への参加を予定しており,参加の際には旅費を充当する.
|