2021 年度研究成果報告書

スパースモデリングの導入による人が理解できる深層学習

研究課題

PDF

研究課題/領域番号	18K11487
研究種目	基盤研究(C)
配分区分	基金
応募区分	一般
審査区分	小区分61040:ソフトコンピューティング関連
研究機関	一般財団法人ファジィシステム研究所
研究代表者	石川眞澄一般財団法人ファジィシステム研究所, 研究部, 特別研究員 (60222973)
研究期間 (年度)	2018-04-01 – 2022-03-31
キーワード	深層学習 / 積層自己符号化器 / スパースモデリング / 正則化 / 疎構造 / 情報圧縮 / ブラックボックス
研究成果の概要	学習結果の理解が困難という深層学習の問題点解消に向け、情報圧縮のための積層自己符号化器を対象とし、スパース化のため６種類の正則化項を深層学習に適用した。自乗誤差評価値と結合数からなるパレート最適曲線で構成される閉領域の面積を正則化項の有効性評価とすることを提案し、標準的な結合重みの(a)L1ノルムよりも(b)選択的L1ノルムが有効であり、隠れ層出力の(c)選択的L1ノルム、(d)選択的L2ノルム、(e)KL-情報量、(f)非対角共分散和の(b)への追加が更に有効であることを実証した。得られた疎構造モデルから恒等写像と疑似恒等写像の存在及び情報損失との関係を明らかにし、人の理解向上に貢献した。
自由記述の分野	人工知能
研究成果の学術的意義や社会的意義	スパースモデリングに用いられる正則化項がいろいろ提案されてきたが、知る限りではこれらの有効性を評価する方法が無かった。本研究はデータ適合度及びスパース度（結合数）からなるパレート最適性の概念を利用して正則化項の有効性指標を提案し、大規模実データを用いてその有効性を実証した点に研究成果の学術的意義がある。正則化項の有効性指標を用いてその有効性を評価し、少なくとも積層自己符号化器において最も有効な正則化項群による学習結果を人が理解することを可能とし、またクラス分類課題においても同様のアプローチで疎構造を得ることができ、人に理解できる人工知能への第一歩を示せた点に研究成果の社会的意義がある。