| Project/Area Number |
20K11900
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
Kobayashi Takumi 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30443188)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | ニューラルネットワーク / 深層学習 / 事前モデル / 画像認識 / 線形識別ベクトル / ベクトル回転 / 畳み込みニューラルネットワーク / 受容野 / フィルタサイズ / 平滑化関数 / 適応的確率モデル / 正規分布 / 事前確率分布 / 適応的モデル |
|---|
| Outline of Research at the Start |
本研究では、ニューラルネットワークを用いた特徴表現モデル学習の効率化に資する新たな理論基盤を構築する。近年、大規模なパラメータで構成されるニューラルネットワークを適用することで、データ自動認識の根幹を成すパターン特徴が学習的に獲得されている。本研究では最適化対象であるパラメータに対して、階層的な事前確率モデルと、入力パターン特性に従ってその事前モデルを動的に変化させる適応性を導入することで、パターン変動に頑健かつ効果的な特徴表現を実現する。大規模パラメータ＋事前確率モデル＋適応性を統合した学習方法の基盤構築を行い、様々な認識タスクやデータを用いた評価実験を通して多角的にその有効性を検証する。
|
| Outline of Final Research Achievements |
In this study, we have proposed effective approaches to train neural networks in a framework of deep learning. Neural networks are composed of plenty of parameters which are directly optimized through the learning process. We introduce prior models for those parameters to construct a hierarchical representation of the parameters. Thereby, the parameters in the neural networks are derived from the prior model in a hierarchical manner, and hyper-parameters in the prior models are optimized during training. The hierarchical representation in parameters contributes to robust and adaptive learning such as by suppressing over-fitting. We proposed several prior models applicable to layer modules of neural networks, demonstrating the promising performance improvement in classification tasks.
|
| Academic Significance and Societal Importance of the Research Achievements |
画像や音声など膨大なパターンデータが蓄積される現在、それらを有効に活用するために、AIによる自動認識技術への社会的ニーズが高まっている。本研究成果は自動認識・解析で特に効果の高いニューラルネットワークを用いた深層学習の性能改善に資するものである。ニューラルネットワークのパラメータ表現に着目することで、既存の様々なモデルへと適用できる汎用性をもちつつ、実世界の多様な訓練データセットでの学習を可能とする頑健性を与えることができるため、実用面での波及効果が期待できる。さらに、事前モデルを導入したパラメータの階層的表現は学術的意義も大きい数理的アプローチとなっている。
|
