2019 Fiscal Year Research-status Report

A Deep Neural Network Internal Operation Visualization System

Research Project

Project/Area Number	19K03046
Research Institution	Ishikawa National College of Technology
Principal Investigator	金寺登石川工業高等専門学校, 電子情報工学科, 教授 (50194931)
Project Period (FY)	2019-04-01 – 2022-03-31
Keywords	深層ニューラルネットワーク / 可視化 / 音声認識
Outline of Annual Research Achievements	深層ニューラルネットワーク(DNN)を用いることにより，音声認識や画像認識などで高い認識性能を実現できるようになってきた。また災害予測など様々な分野での応用が急速に進んでいる。しかし，ネットワーク内部で何を根拠に判別しているかが不明であるため，判別結果に対する不安が懸念されている。すなわち「高い性能を示す理由が明らかでない。」「使ってみたらうまくいくがなぜかわからない。」という点が問題になっている。現在DNNの内部がわかる人材は不足しており，今後AIなどで活用されるようになったときに，誤った判断が出される危険性がある。これを防ぐための人材育成は将来のAI社会では不可欠である。そこで，本研究では深層ニューラルネットワーク内部の処理を可視化するシステムを開発し，DNNを正しく理解し活用できる人材を育成することを目的とする。社会でのDNN利用例が急増する中で，DNN内部で何が行われているかを正しく理解するためのシステムを開発・公開することは，技術者はもちろん利用する国民にとっても極めて重要である。本研究では，ネットワーク出力を入力で偏微分した値の変動を指標とすることによって，識別の根拠となる重要な入力を特定する方法を開発した。この指標が大規模なニューラルネットワークにも有効であることを確認した。また，音声認識深層ニューラルネットワークに本研究の方法を適用し，各音韻の識別にとって重要と自動判断された知識と音響学の知識を比較し，本研究の方法の妥当性が明らかになった。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 深層ニューラルネットワーク(DNN)内部の処理を可視化するシステムを開発しDNNを正しく理解し活用できる人材を育成するという目的を達成するため，以下の課題を明らかにした。課題① ニューラルネットワークに与える各入力が出力にどの程度影響を与えるかを定量的に明らかにした。深層ニューラルネットワーク内部の処理を可視化する方法の一つとして，ニューラルネットワーク出力を入力で偏微分した値の標準偏差が大きいときに，対応する入力が重要であると判定する方法を提案した。計算サーバを導入し，この指標が大規模なニューラルネットワークにも有効であることを確認した。特に層数，ユニット数，非線形関数の影響や重要な隠れユニットの抽出方法等を調査した。課題② 音声認識深層ニューラルネットワークに本研究の方法を適用し，各音韻の識別にとって重要と自動判断された知識と音響学の知識を比較し，本研究の方法の妥当性を明らかにした。大規模な音声認識深層ニューラルネットワークに適用した結果，/s/と/sh/の違いなどこれまでの音響学の知見と一致する結果が得られ，提案方法の妥当性が明らかになった。また入力に与える時間幅（フレーム数）や入力特徴量の影響についても調査した。
Strategy for Future Research Activity	これまで，入力層における重要なユニットを定量的に明らかにした。今後は，中間層における重要なユニットを定量的に明らかにする。また，重要でないユニットを削減することによってどの程度の計算量低減効果が得られるかを調査する。さらに，音声認識以外のニューラルネットワークにも本手法を適用する。最終的に，様々なタイプの深層ニューラルネットワークの内部処理を可視化できるシステムを開発し公開することにより，利用者がネットワーク内部で何が行われているかを理解できるようにする。
Causes of Carryover	納入金額が予定より安価であったため，残額は次年度の消耗品（トナー）の一部として使用したい。