2020 Fiscal Year Research-status Report
Chaotic dynamics in deep neural networks and its applications to information processing
| Project/Area Number |
20K11985
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
山口 裕 福岡工業大学, 情報工学部, 助教 (80507236)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
奈良 重俊 岡山大学, 自然科学研究科, 特命教授 (60231495)
津田 一郎 中部大学, 創発学術院, 教授 (10207384)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 人工知能 / 深層学習 / カオス / ニューラルネットワーク / 非線形力学系 |
|---|
| Outline of Annual Research Achievements |
本研究は種々の深層学習モデルに現れ得るカオス的ダイナミクスを解析し，情報処理への応用を考察し，よりダイナミクスを利用した動的な処理を用いる人工知能を実現すること目的としている．
2020年度は(1) 微分方程式によって深層フィードフォワードニューラルネットワークと同様の処理を実現するNeural ODE モデルに，画像認識課題を学習させた際に現れる軌道の力学系的性質の数値的解析，(2) 画像の変換を行う深層学習モデルであるcycleGANの画像変換を繰り返し適用するシステムの力学系としての定式化と，変換を学習したモデルを利用して繰り返し画像変換を行う際に現れるアトラクタの性質の分類を行った．(1)では画像認識課題を学習したNeural ODE はその軌道を継続的に観測すると不動点アトラクタへの収束がみられることを確認した．また，収束先のアトラクタは正解のラベルとは無関係に決まっていることを確認した．正解に対応したアトラクタに収束させるようなモデルの改良が行えるか検討した．(2)では画像変換を学習したcycleGANを繰り返し画像に対し適用させることで，画像のカテゴリーを保ったまま多様な画像を生成できることを確認した．この連続的な変換は力学系の軌道として考えられる．この軌道は初期値（初期画像）に依存して多様なアトラクタに収束することを確認した．アトラクタを数値的に分類し，不動点，周期解，およびカオス的なアトラクタが現れることを発見した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度に置いて，大学院生を含めた研究体制を確立し，各テーマにおける基本的なモデルの構築が行われ，学習及び基本的な非線形力学系の解析を適用する段階まで進んでおり，今後２年間で複数の成果を出せる見通しが出てきていることから，おおむね順調に進展していると考えられる．
|
| Strategy for Future Research Activity |
(1)Neural ODE については継続して解析を続けつつ，これを離散化した再帰的ニューラルネットワークの力学系的性質に焦点を当てた解析も行う．(2) cycleGANについて，多様なデータセットを用いた数値実験，アトラクタの個数や分布の分析を行う．またネットワークの結合を一定の割合で切断することにより，さまざまなアトラクタ痕跡の間を遷移するカオス遍歴的ダイナミクスを誘発できるか検討する数値実験を行う．また，カオス力学系を深層学習でモデル化するアプローチのひとつとして，(3)敵対的生成ネットワーク(GAN)を用いたカオス的時系列の生成を行い，深層学習の有効性を研究する．
|
| Causes of Carryover |
新型コロナウイルスの影響により，学会発表や研究打ち合わせをオンラインで行ったため，残額が生じている．新型コロナウイルスの影響がなくなれば学会出張や打ち合わせを増やすことを計画している．
|
