Optimization by Piecewise Linearization with Algorithmic Differentiation

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K11844
• Research Institution: Chuo University
• Principal Investigator: 久保田 光一 中央大学, 理工学部, 教授 (90178046)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 区分的微分可能関数 / アルゴリズム微分 / 最適化

Outline of Annual Research Achievements

2年目の2020年度は，当初予定の絶対値演算の一般化としての自乗和平方演算を処理する処理系をC++で実装中である．実装方針としては，生成されたプログラムの効率を高めることには多少欠点があるが，処理系としての機能は十分であり実装が比較的容易な演算子多重定義を用いる方法を選択している．区分的微分可能な関数の高階微分としての一般化テイラー展開が海外グループにより提唱されているが，これに関連して，多変数の高階微分のための機能を処理系に組み込むことを検討し，まずは区分的線形化のための処理系とは独立にC++のテンプレートを用いて試作している. これは1変数のべき級数展開とは異なり多変数の高階微分を計算できるがメモリ効率は良くない．現状では絶対値演算ではないが arcsin(x) という通常の演算の微分については，2階微分計算を用いて1階微分の零点を求める形で極大・極小計算するという単純な応用例での動作確認は行った．定数の記述の容易さなどこれまでの処理系をさらに機能向上させるべく改良中である．このような機能向上により，アルゴリズム微分を適用する前のプログラムに対する記述の修正量を削減することができるようになり，結果として，利用しやすいシステムとなることが期待できる．この処理系は最終的には自乗和平方演算を処理する区分的線形化のための処理系に統合する予定である．これらとは別のアルゴリズム微分に関連する文脈で，非可換な行列A,Bのn乗和のトレースを，AとBの線形結合の積のトレースで表すことの証明にも取り組んでいる．また，本研究の応用として，絶対値演算を内包した形でも表現可能である「高木関数」に着目し，高木関数の近似値を計算するプログラムに対するアルゴリズム微分を行い，その結果に基づく最適化アルゴリズムの構築を模索している．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初は，処理系の試作を行い実際の応用問題の数値実験に着手するところまで進む予定であったがそこまでに至らなかった．この原因としては，昨年来からの問題点であるところの自乗和平方演算の微分不可能点での処理は形式的には可能だがそれが区分的線形関数にはならないという困難があることによる．数値実験については当初格子点上に並んだ点を母点とするボロノイ図に関する微分実験を予定していたが，こちらはアルゴリズム微分を適用するためのボロノイ図作成プログラムの試作に着手した段階で止まり，数値実験まで進まなかったことによる．また，昨年着手した機械学習に用いられるReLU関数の微分に着目して，誤差関数の最小化に関するプログラムの試作も継続しており，作業項目が増えて作業が拡散してしまったことによる．

Strategy for Future Research Activity

予定では次の4つのテーマ，(i) 絶対値演算や最小値・最大値演算を含む関数の微分不可能点における微分係数を列挙し，自乗和平方関数の処理を可能とする処理系開発，(ii)2次元問題として地理情報処理における施設配置問題などにおいて現れる最小値・最大値演算を含む最適化計算についての応用計算，(iii)誤差を含む計算における絶対値演算の微分法の確立，(iv) 自乗和平方関数を含む関数の高階微分，を設定し，毎年1テーマずつ取り組む予定であった．これまでの取り組みの優先順位をつけて，まず試作処理系の完成をめざし，(i)の処理系のアルファ版をまとめる．今後はそれを元に応用問題解法における区分的線形化による最適化のアルゴリズム開発を進めていく．これにより，(ii)の数値実験に取り組むことがよりか確実になる．2021年度の3年目では，研究の中間点として，数値実験用のPC等の整備を行い，(ii)と(iii)の数値実験を実施することを予定する．また，2021年度以降実施予定の(iv)についてもその基礎的部分には着手しているが，その先については今後取り組む予定である.

Causes of Carryover

2019年度に続き2020年度にも海外出張を予定していたが，covid-19 のため，国際会議の開催もとりやめとなり，出張をとりやめた．もともと出張旅費としての経費が相対的に大きかったこともあり，想定よりも大きな金額が次年度使用額として残った．2021年度には当初計画で購入予定であった備品を購入する予定である．