2020 Fiscal Year Annual Research Report
Development of Machine Learning Framework Based on Structure Optimization of Computational Graph
| Project/Area Number |
20H04240
|
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
白川 真一 横浜国立大学, 大学院環境情報研究院, 講師 (90633272)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 機械学習 / 計算グラフ / 勾配法 / 進化計算 |
|---|
| Outline of Annual Research Achievements |
2020年度は，当初の計画に沿って次の項目を実施した．
（1）数値データのためのモデル構造の開発
数値データの入力・出力によって予測や分類を行うために，算術演算や論理演算の組合せによってモデル構造を表現する手法の検討を行った．ベンチマークデータを利用した分類問題とシミュレータを利用したシステム同定問題を対象に，モデルの予測性能や解釈性，リソース効率を評価した．当初の予想通り，ディープニューラルネットワークと比較して解釈性やリソース効率の面でのアドバンテージを確認した．
（2）確率緩和と連続緩和に基づく学習方式の検討
算術演算や論理演算の組合せによって表現されるモデル構造を学習するために，確率緩和と連続緩和と呼ぶ2つの緩和方式を用いた学習方式をそれぞれ開発した．確率緩和は最適化対象の変数に関する確率分布を導入し，その分布パラメータを勾配法によって最適化する方式である．この確率緩和は，進化計算と呼ばれるブラックボックス最適化と大きな関係がある．確率緩和による学習方式において，モデルの出力に影響を与えない構造パラメータの存在によって最適化効率が悪化する問題があるが，これに対処するアルゴリズムを開発した．この成果は国際会議PPSN2020に採択され，発表を行った．また，進化計算における遺伝的プログラミングという方式を，確率緩和による学習の観点から捉え直し，適応型の学習方式を開発した．連続緩和による学習方式については，Gumbel-Softmax関数による緩和方式を応用した計算グラフの学習方式を考案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定通り，数値データのためのモデル構造の開発と，確率緩和と連続緩和に基づく学習方式の検討を進めており，国際会議での発表も行っているなど，想定通りの進捗を得たものと考えている．
|
| Strategy for Future Research Activity |
今後は今年度の成果を基礎に，次の項目を実施していく予定である．
・モデル構造の開発
2020年度に開発したモデル構造を基礎に，準備する基本演算の影響を調査し，効果的な演算セットを明らかにする．また，画像やテキストデータなどへの拡張についても検討を行う．開発方式の性能をベンチマーク問題や実問題への適用を通して評価する予定である．
・確率緩和と連続緩和に基づく学習方式の検討
2020年度に開発した学習方式を基礎に，その学習効率を高めることを目指すとともに，2つの緩和方式の使い分けについて考察を行う．また，並行して当該方式に関する理論解析や確率緩和と連続緩和のハイブリッド型の学習方式の開発を実施する．さらに，計算グラフを簡略化する方式，もしくは学習時に正則化を導入することでコンパクトな構造を得る方式について検討し，モデルの解釈性向上をねらう．
|
