| 研究課題/領域番号 |
19K11844
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60020:数理情報学関連
|
|---|
| 研究機関 | 中央大学 |
|---|
研究代表者 |
久保田 光一 中央大学, 理工学部, 教授 (90178046)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
2023年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2022年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2019年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
|
|---|
| キーワード | 区分的微分可能関数 / アルゴリズム微分 / 最適化 / 区分的微分可能 / 劣勾配 |
|---|
| 研究開始時の研究の概要 |
機械学習の活性化関数のReLU 関数など，工学における最適化問題の目的関数は絶対値演算や最大最小値演算を含み得る．従来は微分不可能点を避けて最適化手法が設計されるが，本研究では微分不可能点の情報を積極的に活用する最適化手法の開発に取り組む．具体的には微分不可能点に対するAbsolute Normal Form (ANF) と命名された形式に対し，絶対値演算|x|の一般化である二乗和平方関数hypot(x,y)= √(x*x + y*y) （直角三角形斜辺関数）を導入する．これにより微分不可点の劣勾配情報を活用したより広い目的関数に対する最適化手法の開発を可能にすることが目的である．
|
| 研究実績の概要 |
4年目の2022年度は，絶対値演算の一般化としての自乗和平方演算を処理する処理系をC++で実装する上で, その基礎となるアルゴリズム微分の実装方法について総括から開始した．この作業は，2022年5月に「超双対数」の研究グループから2022年8月開催の九州大学マス・フォア・インダストリ研究所研究集会「超双対数に基づく高精度・高速 微分計算理論の構築」での招待講演の依頼があり，そこで，「自動微分・アルゴリズム微分」と題して当該技術の全体像を概説するための関連作業として実施した．種々のアルゴリズムの本質的な動作を理解するための極めて単純なプログラム群（ライブラリプログラム）を作成し，基本的な1階微分計算アルゴリズムを定め，それを配列要素に適用して多変数関数の偏導関数を同時並列に計算するものや，再帰的に適用して高階微分係数を計算する実装例を作成した．また，多変数1階偏微分係数を計算するリバースアルゴリズムの基本形を元にこれを再帰的に適用して高階の偏導関数を計算するアルゴリズムの例などの資料を作成した．現状は未公開であるが適宜レビューを行い，本研究の成果のひとつとして公開予定である．
また，近年世間の注目を集めている微分不可能点が現れる計算としては，ReLU 関数を活性化関数とする深層学習計算がある．そこでこの分野での技術動向を調査し本研究との関連を詳らかにすることは，当初予定には無い作業であるが必要かつ重要であると考え，2022年度後半からその基本的な動作を明らかにするべく作業中である．具体的にはまず第1歩として1次元の数値のクラス分け関数を行う3層から6層程度のニューラルネットワークの最適化を上記プログラム例のひとつとして取り上げ，C++で実装し，そのネットワークの学習・収束の過程を調査中である．多次元データへの適応は今後の課題である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
微分不可能点を生成し得る演算として絶対値演算を多用する計算としては，ReLU 関数活性化関数として用いる深層学習の計算がある．ReLU 関数は絶対値演算abs(x)を用いて ReLU(x)=(abs(x)+x)/2と記載されるので，本研究で検討中の微分不可能点の区分的線形化のひとつである．この点については以前から既知であったが本研究の処理系作成のテスト問題としてとりあげ，まずは1次元データのクラス分けを行うモデルを作成し，実験したところ，いくつか知見を得た．この作業は2022年夏に上記2022年度の研究実績の概要で説明した招待講演の連絡を受けて始めたこともあり現在も継続中である．現在世間の耳目を集める機械学習に関連する実験の方が本研究の意義を説明・主張しやすいと考えたため，当初予定の数値実験に先だって実施している．このため当初予定よりも作業が遅れてしまっている．
|
| 今後の研究の推進方策 |
予定では次の4つのテーマ，(i)絶対値演算や最小値・最大値演算を含む関数の微分不可能点における微分係数を列挙し，自乗和平方関数の処理を可能とする処理系開発，(ii)2次元問題として地理情報処理における施設配置問題などにおいて現れる最小値・最大値演算を含む最適化計算についての応用計算，(iii)誤差を含む計算における絶対値演算の微分法の確立，(iv)自乗和平方関数などを含む関数の高階微分，を設定し，毎年1テーマずつ取り組む予定であった．2023年度は最終年度であり，2022年度はアルゴリズム微分の総括と深層学習における応用に取り組んだため，2021年度までの結果と2022年度の作業を踏まえて，2022年度実施予定だった(i)の処理系のアルファ版に多変数のmin/max演算の導入を検討し，それを元に応用問題解法における区分的線形化による最適化を，2023年度においても，引き続き進めていく．また，今後も当初予定の通り，2021年に着手した(ii)の数値実験の追加，(iv)のさらなる検討についても実施し，研究全体をまとめて報告書を作成する．なお，関連する計算実験については，2021年度に購入したPCを用いて並列計算による(ii)と(iii)の数値実験を実施する他，2023年度初頭に購入予定の機器を用いて実施する予定である．
|
