2018 Fiscal Year Research-status Report
| Project/Area Number |
18K19793
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
福水 健次 統計数理研究所, 数理・推論研究系, 教授 (60311362)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鈴木 大慈 東京大学, 大学院情報理工学系研究科, 准教授 (60551372)
今泉 允聡 統計数理研究所, 統計思考院, 助教 (90814088)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 人工知能 / 深層学習 / 理論解析 |
|---|
| Outline of Annual Research Achievements |
本研究は数理的アプローチによってAI技術の革新をはかろうとするものであり、深層学習の繰り返し更新則の挙動（学習ダイナミクス）を解析することにより，その高い能力の要因を理論的に究明し，その知見に基づいて，はるかに低コストで安定した学習が可能な大自由度学習モデルを開発することを目的としている。研究課題としては、【課題１】深層構造の学習ダイナミクス、【課題２】低コスト学習モデル、【課題３】学習モデルの効率的実装、の3つの主な研究課題を挙げているが、初年度のH30年度は【課題１】深層構造の学習ダイナミクスに注力し、以下の2つの研究成果を得た。
（１）微分不能な点や不連続な点を含む関数を推定する場合の性能を、Fourier展開、スプラインなどの固定基底を持つ関数推定の方法と比較したところ、ReLU活性関数を持つ深層学習がよりよい汎化誤差を示すことを理論的に示した。この結果は機械学習分野のトップ国際会議のひとつである Artificial Intelligence and Statistics (AISTATS 2019)に採択された。
（２）深層学習モデルの局所極小解の構造に関して研究を行った。あるネットワークが極小解となっているとき、そのある層の素子を増加させて大きいなネットワークを構成した際に、もとの関数と同一の入出力関係を持たせる方法を考察し、大きいネットワークが極小／鞍点となるかを考察した。その結果、活性化関数がReLUか滑らかかによってその局所的性質が変化することが理論的に示された。また、その結果を用いると、冗長なネットワークで学習された最適解の汎化誤差が、活性化関数によって異なる振る舞いを持つことが示唆された。現在、この結果を論文にまとめている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度であるH30年度はおもに【課題1】に注力したが、不連続な関数に対する推定精度の理論解析に関して、従来型の関数推定法に比べて深層学習のよい性能を示唆する興味深い結果が得られ、その成果をまとめた論文が機械学習／人工知能分野でトップクラスの国際会議に採択された。また、深層学習の極小解の理論解析は非常に困難な課題の一つであるが、それに関して理論的に多くの示唆を含んだ結果が得られた。特に、極小解の平たんさをヘッセ行列によって評価することにより、ReLUと滑らかな活性化関数の本質的な相違を明らかにした研究は今までにない理論的結果である。これらのことから、課題1に関しては、計画以上の進展があったと考える。次年度は、課題２を中心に研究を行い、waveletや多重解像度カーネル法などの方法を出発点として、新しい関数推定の方法論を考察していきたい。
|
| Strategy for Future Research Activity |
【課題２】低コスト学習モデル、に関しては、多層構造を持つことの本質的な意味を明らかにするために、Waveletやカーネル法の多層化技術を考察する予定である。特に、Waveletのスパース学習を効率的に行う方法、カーネル法の多くの異なるバンド幅の重ね合わせによる関数空間の利用などを考察し、実用的な計算効率を持つ方法を研究する。
【課題３】学習モデルの効率的実装、に関しては、並列化を前提として、確率勾配法やADMMなどの効率的な最適化法とその発展形を追求することにより、実装までを行う。
実装にあたっては、必要に応じて外部業者への利用などを検討する。
|
| Causes of Carryover |
国際会議出張として予算60万円を計画していたが、所属機関の運営費交付金により支出できたため、本科研費の予算を次年度以降の国際会議に充当して、より密な情報収集を行うこととした。また、物品費として計画していたGPUボード購入に関しては、新規製品の発売予定によって次年度以降の価格下落が予想されたため、H30年度は現有している計算資源を活用することとし、R1年以降に複数枚のボード購入をすることによって、研究をより加速できると判断して、使用時期をずらした。
|
