2022 Fiscal Year Research-status Report
Optimization by Piecewise Linearization with Algorithmic Differentiation
| Project/Area Number |
19K11844
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
久保田 光一 中央大学, 理工学部, 教授 (90178046)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 区分的微分可能関数 / アルゴリズム微分 / 最適化 |
|---|
| Outline of Annual Research Achievements |
4年目の2022年度は，絶対値演算の一般化としての自乗和平方演算を処理する処理系をC++で実装する上で, その基礎となるアルゴリズム微分の実装方法について総括から開始した．この作業は，2022年5月に「超双対数」の研究グループから2022年8月開催の九州大学マス・フォア・インダストリ研究所研究集会「超双対数に基づく高精度・高速 微分計算理論の構築」での招待講演の依頼があり，そこで，「自動微分・アルゴリズム微分」と題して当該技術の全体像を概説するための関連作業として実施した．種々のアルゴリズムの本質的な動作を理解するための極めて単純なプログラム群（ライブラリプログラム）を作成し，基本的な1階微分計算アルゴリズムを定め，それを配列要素に適用して多変数関数の偏導関数を同時並列に計算するものや，再帰的に適用して高階微分係数を計算する実装例を作成した．また，多変数1階偏微分係数を計算するリバースアルゴリズムの基本形を元にこれを再帰的に適用して高階の偏導関数を計算するアルゴリズムの例などの資料を作成した．現状は未公開であるが適宜レビューを行い，本研究の成果のひとつとして公開予定である．
また，近年世間の注目を集めている微分不可能点が現れる計算としては，ReLU 関数を活性化関数とする深層学習計算がある．そこでこの分野での技術動向を調査し本研究との関連を詳らかにすることは，当初予定には無い作業であるが必要かつ重要であると考え，2022年度後半からその基本的な動作を明らかにするべく作業中である．具体的にはまず第1歩として1次元の数値のクラス分け関数を行う3層から6層程度のニューラルネットワークの最適化を上記プログラム例のひとつとして取り上げ，C++で実装し，そのネットワークの学習・収束の過程を調査中である．多次元データへの適応は今後の課題である．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
微分不可能点を生成し得る演算として絶対値演算を多用する計算としては，ReLU 関数活性化関数として用いる深層学習の計算がある．ReLU 関数は絶対値演算abs(x)を用いて ReLU(x)=(abs(x)+x)/2と記載されるので，本研究で検討中の微分不可能点の区分的線形化のひとつである．この点については以前から既知であったが本研究の処理系作成のテスト問題としてとりあげ，まずは1次元データのクラス分けを行うモデルを作成し，実験したところ，いくつか知見を得た．この作業は2022年夏に上記2022年度の研究実績の概要で説明した招待講演の連絡を受けて始めたこともあり現在も継続中である．現在世間の耳目を集める機械学習に関連する実験の方が本研究の意義を説明・主張しやすいと考えたため，当初予定の数値実験に先だって実施している．このため当初予定よりも作業が遅れてしまっている．
|
| Strategy for Future Research Activity |
予定では次の4つのテーマ，(i)絶対値演算や最小値・最大値演算を含む関数の微分不可能点における微分係数を列挙し，自乗和平方関数の処理を可能とする処理系開発，(ii)2次元問題として地理情報処理における施設配置問題などにおいて現れる最小値・最大値演算を含む最適化計算についての応用計算，(iii)誤差を含む計算における絶対値演算の微分法の確立，(iv)自乗和平方関数などを含む関数の高階微分，を設定し，毎年1テーマずつ取り組む予定であった．2023年度は最終年度であり，2022年度はアルゴリズム微分の総括と深層学習における応用に取り組んだため，2021年度までの結果と2022年度の作業を踏まえて，2022年度実施予定だった(i)の処理系のアルファ版に多変数のmin/max演算の導入を検討し，それを元に応用問題解法における区分的線形化による最適化を，2023年度においても，引き続き進めていく．また，今後も当初予定の通り，2021年に着手した(ii)の数値実験の追加，(iv)のさらなる検討についても実施し，研究全体をまとめて報告書を作成する．なお，関連する計算実験については，2021年度に購入したPCを用いて並列計算による(ii)と(iii)の数値実験を実施する他，2023年度初頭に購入予定の機器を用いて実施する予定である．
|
| Causes of Carryover |
2022年度は(i)本来旅費として計上するところの研究会参加はzoom 参加により実質費用負担がなかったこと，(ii)計算実験は以前購入したマルチコア計算機を利用しており新たな計算機導入を検討したがそのためには予算が不足していたこと, の2点から使用額が生じなかった．最終年度ではあるが更なる計算実験実施のために2023年度初頭に計算機の購入を検討しており，2022年度の未使用額と2023年度の予算を合わせて必要となる費用に充当する予定である．
|
Research Products
(1 results)
