2020 Fiscal Year Research-status Report
Statistical Representation of Internal States of Depth Neural Networks and Exploration of New Learning Methods
| Project/Area Number |
18K11449
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
柴田 千尋 東京工科大学, コンピュータサイエンス学部, 講師 (00633299)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
吉仲 亮 東北大学, 情報科学研究科, 准教授 (80466424)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 表現学習 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
深層ニューラルネット，とくにLSTM(超短期記憶)の解釈性，また，質の高い埋め込み表現の追求を行っているが，本年度は，LSTM が，どのように文脈を捉えるのか，LSTM 内 のどの中間ベクトルに長期的な情報がどのようなメカニズムで捉えられるのかについて，追求を行った．その結果，品詞が状態更新ベクトルの空間中に最も顕著に獲得されていることや，”that”などの複数の意味を持つ機能語が，意味ごとにクラスタリングされていることなどが，実験を通して発見された．また，LSTM内部の，状態更新ベクトルにおける各要素のアクティベーションの値の学習前と学習後のヒストグラムの変化から，学習によって，量子化が進むことを示した．これは，LSTM内部の関連する重みパラメータが，学習により，より大きい分散を持つことになったことを意味している．より大きな分散を持つようになった理由としては，学習時にモデルを更新する際に，シグモイド関数や tanh 関数のもつ性質上，自然にそのようになるためで，この仕組が，学習が進んだときのロスや内部ベクト ルの安定的な挙動にも寄与しているものと予想される．以上の結果は，LSTM を翻訳モデルなどに用いると，構文的な間違いをあまりしないことがよく知られているが，実際に，動詞や名詞などの，単語の持つ構文関する基本的な情報が，状態更新ベクトルの一部の部分空間で，自然に獲得されているということを意味する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
LSTM内部の状態更新ベクトル内に，品詞等の情報が最も顕著に獲得されていることが判明するなど，いくつかの重要な発見があったため，概ね順調に推移していると言える．
|
| Strategy for Future Research Activity |
内部ベクトルの量子化を考慮した分布エンコーディングを考え，LSTMに対する適用可能性を探る．
|
| Causes of Carryover |
本年度の未使用額は，社会的に止む終えない理由(コロナの流行)が大きい．使用については，計算機の購入，学会参加費，クラウド使用量，計算機周辺機器等の消耗品費に当てる計画である．
|
