Construction of Probabilistic Quasiconformal Activation Function for Highly Accurate and Stable Deep Learning
| Project/Area Number |
20K23330
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1001:Information science, computer engineering, and related fields
|
|---|
| Research Institution | Hachinohe Institute of Technology |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2020-09-11 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
|
|---|
| Keywords | 擬等角写像 / ベルトラミ係数 / ニューラルネットワーク / 活性化関数 / 深層学習 |
|---|
| Outline of Research at the Start |
本研究の目的は、高精度かつ安定な深層学習に資する新しい活性化関数を構築することである。深層学習の普及が急速に進む中、その学習の高精度化、効率化、安定化等のために、活性化関数の構築に関する研究が進められている。擬等角写像は等角写像の自然な一般化であり、タイヒミュラー空間や複素力学系などの分野と密接に関係し、深く研究されてきた写像のクラスである。本研究では、確率的活性化関数や複素数値の活性化関数に関する先行研究により得られていた知見と擬等角写像の技法を融合し、既存の活性化関数の性能を上回る、確率的に変化する擬等角写像を用いた活性化関数（確率的擬等角活性化関数）の構築を目指す。
|
| Outline of Final Research Achievements |
The choice of activation functions significantly affects the performance of deep learning models. Therefore, the activation functions of neural networks have been widely researched. The aim of this research was to construct an activation function that contributes to highly accurate and stable deep learning. We focused on the Beltrami coefficient of the quasiconformal mapping: Beltrami coefficient represents the distortion of the mapping at each point. In this research, we constructed a complex-valued activation function that has a probabilistic Beltrami coefficient. The constructed activation function showed better performance compared with baseline activation functions in the experiment utilizing a simple deep neural network on several benchmark datasets.
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習による人工知能が、様々な分野において目覚ましい成果を挙げている。深層ニューラルネットワークの活性化関数は、構築されるモデルに関わる重要な要素の一つであり、その学習に大きな影響を与える。本研究で構築した確率的に変化するベルトラミ係数を持つ新しい活性化関数は、ベースラインとした既存の活性化関数と比較し、複数のベンチマークデータセット上で高い性能を示した。活性化関数のベルトラミ係数に摂動を与えるアプローチは、複雑かつ高い精度が求められる画像処理のタスク等における深層ニューラルネットワークモデルの構築に活用できる可能性がある。
|
Report
(3 results)
Research Products
(3 results)
