| 研究課題/領域番号 |
18K11487
|
|---|
| 研究機関 | 一般財団法人ファジィシステム研究所 |
|---|
研究代表者 |
石川 眞澄 一般財団法人ファジィシステム研究所, 研究部, 特別研究員 (60222973)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 深層学習 / 理解できるAI / 積層自己符号化器 / スパースモデリング / L1ノルム / ニューラルネットワーク |
|---|
| 研究実績の概要 |
近年、深層学習の進展が著しくその学習性能の高さが注目を浴びているが、その学習結果を人が理解することは困難である。申請者は世界に先駆けてL1ノルム（ラプラス正則化、結合重みの絶対値和）によるニューラルネットワークモデルのスパース化を提案し、その有効性を示した。本研究は、L1ノルムのみならず申請者が培ったさまざまなアイデア・ノウハウを組み合わせ、これらを駆使して「人が理解できる深層学習」を探求する点に、学術的独自性と創造性がある。
本研究は深層学習の典型例として積層自己符号化器を取り上げ、その部分構造として自己符号化器に着目し、これに適切なスパースモデリング手法を適用し、これをネットワーク全体に拡張するアプローチを考えている。
本年度はその第一歩として、自己符号化器のスパース化を実施する。自己符号化器は３層のニューラルネットワークにおいて、入力と同じものを出力層に再現し、隠れ層ニューロン数を小さくして情報圧縮を行う。申請時には、殆どの隠れ層出力が零で、少数の隠れ層出力が非零であるというスパース性を表現するのに適した評価関数を設定することを想定していた。しかし、自己符号化器は隠れニューロン数が入力ニューロン数よりも小さいため、使われない隠れニューロンは基本的に存在せず、あり得るのは冗長表現である。結合重みに対するL1ノルム及び選択的L1ノルム、隠れ層出力に対するL2ノルム及び選択的L2ノルムを採用した。実データとして赤ワインデータを取り上げ、自己符号化器により学習し、学習により得られた低次内部表現の妥当性を検証し、スパース自己符号化器の構造や隠れユニットの意味付けを明らかにすることにより、情報圧縮の仕組みを自己符号化器の構造に基づいて理解することに成功した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
交付申請書の「８．補助事業期間中の研究実施計画」における①～④のうち、平成３０年度には①自己符号化器のスパース化及び②スパース自己符号化器を用いたビッグデータの学習実験の一部分を実施する予定であった。今年度は①を全部実施し、②については赤ワインデータを用いた学習により得られた低次内部表現の妥当性、スパース自己符号化器の構造や隠れユニットの意味付けについては完了したが、従来のスパース自己符号化器を用いた実験結果との比較対照は２年目の課題として残されている。以上の理由により、区分は２とした。
|
| 今後の研究の推進方策 |
２年度目は、②のうち従来のスパース自己符号化器を用いた実験結果との比較対照を実施し、併せて③積層自己符号化器のスパース化を実施する予定である。③については、既に実施した初段の自己符号化器により得られた隠れ層上の圧縮情報を第２段自己符号化器の入力として学習し、さらにこの隠れ層上の圧縮情報を第3段自己符号化器の入力として学習する。このような多段の自己符号化器すなわち積層自己符号化器の段階的学習によりスパース性を実現する際の問題点を整理し、解決策を検討する。その際、出力層において入力情報の再現誤差があるので、初段の自己符号化器により得られた隠れ層上の圧縮情報には必然的に誤差が含まれている。この誤差の影響をできるだけ削減するためのアイデアが欲しいところである。
最終年度は、④スパース積層自己符号化器を用いたビッグデータの学習実験のため、ビッグデータを用いて、スパース積層自己符号化器を学習する。再現誤差及びスパース性をもたらすためのさまざまな評価関数候補及び切り口を用いて実験する。これにより得られた第２段以降の高次内部表現の妥当性、自己符号化器の構造や隠れユニットの意味付けを検討する。併せて、従来のスパース積層自己符号化器を用いた実験結果と比較し、提案手法の優位性を検証する。
|
| 次年度使用額が生じた理由 |
次年度使用額が生じた理由は、設備備品の性能を必要最小限に絞ったこと、消耗品も必要性を厳選するとともに必要最小限の量に抑えたことから、物品費で交付申請時の想定よりも約24万円の減少となった。旅費については研究立ち上げに想定以上の時間がかかったので交付申請時の想定よりも約６万円の減少となった。２年度目は順調に研究が進展すると考えているので、次年度使用額の使用計画としては国際会議発表等に要する経費を想定している。
|
