2018 Fiscal Year Research-status Report
Statistical Representation of Internal States of Depth Neural Networks and Exploration of New Learning Methods
| Project/Area Number |
18K11449
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
柴田 千尋 東京工科大学, コンピュータサイエンス学部, 講師 (00633299)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
吉仲 亮 東北大学, 情報科学研究科, 准教授 (80466424)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / 内部表現 / 自然言語処理 / LSTM |
|---|
| Outline of Annual Research Achievements |
自然言語や運転操作の履歴など，記号化された時系列データにおいて，長短期記憶リカレントニューラルネットワーク(LSTM-RNN)や，ゲートリカレントニューラルネットワーク(GRU-RNN)などのRNNが，どのように，どの程度，長期の依存関係や，自然言語における構文情報を捉えるのかについて，近年様々な研究が行われている．しかし，実際に，内部表現にまで踏み込んで議論ができている研究例は我々の知る限りごく小数であることが現状である．近年，真相ニューラルネットワーク(DNN)を単にブラックボックスとして使うだけでなく，実際にその内部でどのような挙動をしているのかについて，人間が理解できる形で提示すること(説明可能性)が求められている．畳み込みニューラルネットワーク(CNN)については，ある程度，その内部の挙動が理解されつつある．一方で，RNN においては，内部の挙動について，未だ説明可能な形で解明がなされていない．そこで，我々はその初歩として，英語における句構造をあらわす構文木を線形化し文として与えて学習させたときに，RNN内で構文情報がどのようにエンコードされるかについて詳細に分析した．その結果，構文と，LSTMの状態ベクトルの間にある程度の相関関係が見られた．この結果は，構文がどのようにLSTMの内部ベクトルに埋め込まれるかを明らかにしていくベースとなる研究成果であると考えられる．また，教師なしクラスタリングのように，意味が類似している場合，ベクトルも類似することが観測されている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
LSTMの内部表現の探索を行うことができている状況である．その結果，ある程度の意味の埋め込み表現を観測することができている．未だ研究は初期段階ではあるが，深層学習の内部表現の理解は，現在盛んに社会から求められている，「説明可能なAI」へ向けての礎になる可能性があり，その内部表現について，一部ではあるが，分析結果が得られたという事実は，重要である．したがって，研究はおおむね順調であるといえる．
|
| Strategy for Future Research Activity |
今後も引き続き，内部表現の分析を行っていく予定である．その際，より深くまで踏み込めるよう，様々な統計的手法を駆使する必要がある．そういった手法について，研究分担者と協力し，最適なものを探索していく．
|
| Causes of Carryover |
予定していた国際会議に参加しなかったため旅費の支出がなかった．また，今年度は，計算機を，既存のもので代用したため，購入を延期した．次年度は，国際会議に参加するとともに，古くなった計算機の更新などを予定している．
|
