2023 Fiscal Year Research-status Report
自律的な抵抗変化をするシナプス素子を用いた効率的な深層学習の実現
| Project/Area Number |
22K12174
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
長谷川 剛 早稲田大学, 理工学術院, 教授 (50354345)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層学習 / 抵抗変化素子 / エラー / 学習効率 / ハードウエア / 減衰 |
|---|
| Outline of Annual Research Achievements |
現在、脳型情報処理に適した素子開発に基づく人工知能システムのハードウエア化が進められている。そこでは、ハードウエアはソフトウエアで実行されていた計算モデル通りに動作することが求められているが、シナプス素子として開発が進む抵抗変化素子は電圧印加後に抵抗変化（減衰）を示すなど、その要求を満たせていないものがある。しかし、人間の脳には、短期記憶や長期記憶に基づく学習動作など、ソフトウエアには未だ十分に組み込まれていない機能もある。本研究では、ソフトウエア上の動作を忠実に再現する上では不都合な減衰動作が情報処理に与える影響を明らかにし、さらには有効活用できる場を探索することを目的としている。
2022年度には、小規模なネットワークを用いてではあるが、理想的な抵抗値からのズレが数％であれば学習効率や最終的な正答率に悪い影響が現れないことを確認できた。そこで2023年度は、大規模なネットワークを用いたMNIST(60,000の手書き数字)の認識タスクを行った。その結果、抵抗減衰を示す素子を用いると、減衰を示さない理想的な動作をする素子を用いたときよりも反って、学習効率や最終的な正答率が向上することが分かった。しかも、この効果は抵抗値制御のエラー率が高いほど顕著になった。これは、抵抗の減衰が過学習を防止効果があることを示唆している。実際の素子では必ずエラーが発生することから、深層学習のハードウエア化を推進する上で有益な知見が得られたと言える。以上の成果を論文に纏めて報告した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度には、実際の素子で観測される程度の抵抗制御エラーであれば、深層学習における学習効率や最終的な正答率に悪影響が出ないことを明らかにした。これにより、２つある本研究の大きな目標のうちのひとつを達成した。2023年度には、もうひとつの目標である電圧印加後の抵抗変化（減衰）が反って学習効率を高めることがあることを実証できた。このため、研究は概ね順調に進んでいると判断する。
|
| Strategy for Future Research Activity |
当初の計画通りに初年度の研究が進展したことから、最終年度も当初の計画通りに研究を進めていく。自律的な抵抗変化（減衰）がノイズ成分を効率的に除去できることを理論的に明らかにすることで、得られた結果の汎用性や有用性を確認する。
|
| Causes of Carryover |
コロナ禍のために海外の学会出張に行く機会が当初予定よりも減ったため。国内会議での発表および学術誌への論文投稿での成果報告も行っており、研究期間全体として、本来行うべき成果報告活動に影響は出ない。
|
