2020 Fiscal Year Research-status Report
高精度かつ安定な深層学習のための確率的擬等角活性化関数の構築
| Project/Area Number |
20K23330
|
|---|
| Research Institution | Hachinohe Institute of Technology |
|---|
Principal Investigator |
島内 宏和 八戸工業大学, 工学部, 講師 (90759200)
|
|---|
| Project Period (FY) |
2020-09-11 – 2022-03-31
|
| Keywords | 深層学習 / ニューラルネットワーク / 活性化関数 / 擬等角写像 |
|---|
| Outline of Annual Research Achievements |
高精度かつ安定な深層学習に資する新しい活性化関数の構築を目指し、確率的に変化する擬等角写像による活性化関数（以下、確率的擬等角活性化関数）について研究を進めた。2020年度の研究実施計画に従い、複数の確率的擬等角活性化関数を構築した。基本的なニューラルネットワークを用いて、複数のベンチマークデータセット上で構築した活性化関数の実験的な評価を行い、既存の活性化関数と比較した。
はじめに、代表的な実数値および複素数値の活性化関数を用いて、ベースラインとして用いるニューラルネットワーク（全結合層のみによるニューラルネットワークおよび畳み込み層を用いたニューラルネットワーク）を構築した。ベースラインの構築にあたっては、採用したベンチマークデータセット上での活性化関数の性能を評価するために、事前学習による初期値の学習や正則化を用いたモデルの制限、幾何学的変換や敵対的生成ネットワークによるデータ拡張といった技法は排除して実験を行っている。ベースラインを構築後、確率的実数値活性化関数に関する既存の研究を参考に、複素ニューラルネットワークの構築において利用される複素数値活性化関数へ確率的に変化する項を導入し、その性能を実験的に評価した。構築した活性化関数は、いくつかのベンチマークデータ上において、ベースラインで用いた活性化関数と比較して高い性能を示している。次に、擬等角写像の局所的な挙動を記述するベルトラミ係数に着目した。擬等角写像のベルトラミ係数を確率的に変化させるような係数を導入することで、ある種の擬等角写像族からランダムサンプリングを行う仕組みを構築した。この仕組みを用いて複数の確率的擬等角活性化関数を構築したところ、より高い性能を示すものが得られた。さらに、研究の過程で当初検討していなかった擬等角写像を用いた活性化関数が新たな候補として見出された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実施計画の通り、概ね順調に進んでいる。研究実績の概要欄に記したように、ベンチマークデータセット上においてベースラインで用いた活性化関数の性能を上回る、確率的擬等角活性化関数が得られている。数値実験の結果は良好であり、構築した活性化関数に若干の調整を加えて結果を整理した上で、2021年度中旬には論文として纏め国際会議へ投稿する予定である。なお、当初検討していた確率的擬等角活性化関数以外にも、複数の擬等角写像を用いた活性化関数が候補として見出されているため、それらの評価について今後の研究の推進方策に加えたい。現時点で得られている確率的擬等角活性化関数以外のもので、より高い性能を示すものが見つかれば、それらについても結果を纏め国際会議等に投稿したい考えである。また、本研究に関連し、ある種の正規化条件の下での擬等角写像の数値的構成手法について、オンラインで開催されたシンポジウムにおいて発表を行った。以上を踏まえ、現在までの進捗状況として「（２）おおむね順調に進展している。」を選択した。
|
| Strategy for Future Research Activity |
研究実施計画に従い、はじめに現時点までに得られている実験的に高い性能を示す確率的擬等角活性化関数に微調整を加え、ベンチマークデータセット上における既存の活性化関数の性能との差異について整理した上で、論文として纏め国際会議へ投稿する。その後、開始時には検討していなかった、研究の過程で新たな候補として見つかった擬等角写像を用いた活性化関数についても数値実験を行う。それらの中で高い性能を示すものが見つかった場合には、別途結果を纏め国際会議等へ投稿したい。また、これと並行して、構築した確率的擬等角活性化関数を用いた基本的なニューラルネットワークの近似能力や汎化誤差に関する理論的な解析を、関数近似や統計解析の視点から進める。また、確率的擬等角活性化関数のベルトラミ係数の確率的な変化が収束に与える効果についても、複数の条件下での数値実験による評価と理論的な解析の両面から取り組みたい。これらの結果とその考察を論文として纏め、国際学術誌へ投稿したい考えである。
|
Research Products
(1 results)
