Reduction of the degreess of freedom of dynamical systems by machine learning

2020 Fiscal Year Research-status Report

• Project/Area Number: 18K03469
• Research Institution: Toho University
• Principal Investigator: 能川 知昭 東邦大学, 医学部, 講師 (00399982)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 機械学習 / 非平衡ダイナミクス / 縮約理論

Outline of Annual Research Achievements

当該年度より前の研究では、調和（および非調和）振動子系やセルオートマトン系の過渡ダイナミクスに対して、できるかぎり閉じた力学系をつくる縮約変数の学習に取り組んできた。前者の系では縮約変数の独立性が壊れる（複数の自由度があるにも関わらず、それらが似た変数になってしまう）ことを問題視し対策を行ってきたが、後者の系にはそれが顕著に見られていなかった。しかし、後述するように学習の効率化によって、より最適化された変数を得られるようになった結果、同様の問題があることが分かってきた。ここで、似た変数といえども、その差は線形独立な変数となっており、これによって自由度を確保していながら、誤差の評価からは隠ぺいされるということが起こっているのを突き止めた。振動子系の場合の独立化の方法はセルオートマトン系には使えないので、より一般的な方法として、縮約変数をそのデータ数に等しい次元を持つベクトルとみなして、内積を評価することにした。しかし、さらに問題が浮上した。緩和的な時間発展をする系では縮約変数の分散は緩和初期のデータに大きく依存するが、直交性を評価する内積についてもこれは同様で、異なる時刻のデータを同等に取り扱うのは不適切であるとの理解に至った。これを解決するため、各時刻での標準偏差で規格化したデータによって誤差や内積を評価するようにした。
先にふれたように学習アルゴリズムの高速化に取り組んだ。これまでは学習率や確立勾配法のバッチサイズなどのハイパーパラメータをランダムに変動させて高効率なケースが獲得されるものと考えていたが、精査したところこれはパフォーマンスにあまり貢献していないどころか、勾配計算のモーメンタム（慣性）に悪影響があることを発見し、ひとつの学習ランの中では固定することにした。また、線形回帰計算等の冗長な変数表現などを見直して計算量の節約を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

前項で述べたように、学習の結果として得られた縮約変数の性質を精査することによって、変数に適切な制約を課さなければ、誤差の評価が不適切になることが明らかになった。これらを解決するために時間を要したため、次の段階の多様な力学系への応用へ進むのに遅延が生じた。

Strategy for Future Research Activity

研究概要の項で述べたように、枠組みの正当性を保つために縮約変数に対して直交性を条件づけたのだが、誤差を小さくするという観点からすればこれは障害となる。実際に縮約変数の数が最小すなわち1変数の場合が最適という場合が多くなった。これは変数を増やしたほうがより精緻な記述ができるという素朴な期待に反してしまい、あくまで主観的にだが好ましくない。これに関してはさらなる考察の必要を感じている。このような傾向が、これまでに適用した系以外でも当てはまるのかを調べる必要がある。データの独立性の評価には線形独立性以外にも相互情報量などがあり得る。先述した内積以外の評価の模索も行うことを予定している。

Causes of Carryover

COVID19流行のため出張が全くなくなり、旅費の支出がなかった。事業期間延長の申請が承認されたため、後ろ倒しして使用する。今年度も出張が困難なままであれば、計算機等に投資して、シミュレーションデータの質を向上させる。