Construction of Probabilistic Quasiconformal Activation Function for Highly Accurate and Stable Deep Learning

2021 Fiscal Year Final Research Report

• Project/Area Number: 20K23330
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Hachinohe Institute of Technology
• Principal Investigator: Shimauchi Hirokazu 八戸工業大学, 工学部, 講師 (90759200)
• Project Period (FY): 2020-09-11 – 2022-03-31
• Keywords: 擬等角写像 / ベルトラミ係数 / ニューラルネットワーク / 活性化関数 / 深層学習

Outline of Final Research Achievements

The choice of activation functions significantly affects the performance of deep learning models. Therefore, the activation functions of neural networks have been widely researched. The aim of this research was to construct an activation function that contributes to highly accurate and stable deep learning. We focused on the Beltrami coefficient of the quasiconformal mapping: Beltrami coefficient represents the distortion of the mapping at each point. In this research, we constructed a complex-valued activation function that has a probabilistic Beltrami coefficient. The constructed activation function showed better performance compared with baseline activation functions in the experiment utilizing a simple deep neural network on several benchmark datasets.

Free Research Field

情報科学

Academic Significance and Societal Importance of the Research Achievements

深層学習による人工知能が、様々な分野において目覚ましい成果を挙げている。深層ニューラルネットワークの活性化関数は、構築されるモデルに関わる重要な要素の一つであり、その学習に大きな影響を与える。本研究で構築した確率的に変化するベルトラミ係数を持つ新しい活性化関数は、ベースラインとした既存の活性化関数と比較し、複数のベンチマークデータセット上で高い性能を示した。活性化関数のベルトラミ係数に摂動を与えるアプローチは、複雑かつ高い精度が求められる画像処理のタスク等における深層ニューラルネットワークモデルの構築に活用できる可能性がある。