2020 Fiscal Year Research-status Report
パラメータの定まったニューラルネットワークの性質を調べるアルゴリズム基盤の構築
| Project/Area Number |
19K11817
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
内沢 啓 山形大学, 大学院理工学研究科, 准教授 (90510248)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 計算複雑さ / しきい値回路 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本年度は，パラメータの定まったニューラルネットワークの性質を問う決定問題の中でも，入力として与えられる学習済みのニューラルネットワークの構造にループが含まれ，さらに計算が離散時間に沿って進行しながら各ニューロンの発火状態が定まるモデルについて研究を行った．その結果，個々のニューロンが可能とする処理が非常に単純な場合でも，わずかにその処理が異なるだけで，様々な決定問題の計算複雑さが変わることを明らかにした．例えば，入力として与えられたニューラルネットワークにとって，ある発火パターンから特定の発火パターンへ移行可能かどうかを問う決定問題は，周辺に発火しているニューロンが存在するか，あるいは全てのニューロンが発火しているかを個々のニューロンが検知できる場合には，PSPACE完全と呼ばれる現実的な時間で解くことが難しいと考えられる状況になる一方で，隣接するニューロンの発火状態をコピーすることだけを個々のニューロンができる場合には，問題の難しさが大きく下がり，多項式時間で解けることを示した．また，ある発火パターンから始まり，再度そのパターンに戻ってくるまでに，どの程度の離散時間が経過するかを問う決定問題についても，一般にはPSPACE完全になる一方で，周辺に発火しているニューロンが存在するかのみを個々のニューロンが検知できる場合には，より複雑さの小さいNP完全と呼ばれる状況になることを示した．
さらに機械学習の媒体として非常によく用いられるスパース性を担保したニューラルネットワークの表現能力について，段数やニューロンの個数に制限があると，非常に単純な情報処理タスクであっても表現することができなくなることを示した．この知見は，スパース性を持つニューラルネットワークに関して新しく得られた数学的な特徴に基づいている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１年目は既存の研究で示された問題設定に対して，現実的な時間で情報を取り出せる場合と，取り出すことが難しい場合があることを確認した．本年度は，本研究で提案した複数の単純な決定問題に対してアルゴリズムの開発に成功している．
|
| Strategy for Future Research Activity |
最終年度は，１年目に検討した既存の問題設定に関連する決定問題をについて研究を行う．すでに１年目の研究で，既存の問題設定では現実的な時間で動作するアルゴリズムの開発が難しいことを示唆する結果が得られている．そのため，どのような性質であれば現実的な時間でその有無を判断できるかも含め，問題の設定から検討し，さらにアルゴリズムの開発を目指す．具体的には，問う性質の複雑さを軽減することによって，現実的な時間で情報が取り出せないか検討する．アルゴリズムの開発にあたっては，２年目に得られたアルゴリズム開発の知見，およびスパース性が担保されたニューラルネットワークが持つ数学的な特徴を活用する．
|
| Causes of Carryover |
コロナウィルスの影響で，情報収集のために参加予定であった研究会への旅費や，研究成果を発表するために参加予定であった国際会議への海外旅費を執行できなかった．こうした予算は，オンラインで行う研究成果発表に利用する周辺機器の拡充と，次年度にコロナウィルスの広がりが収まった場合に旅費として使用する．
|
