2019 Fiscal Year Research-status Report
Statistical Representation of Internal States of Depth Neural Networks and Exploration of New Learning Methods
| Project/Area Number |
18K11449
|
|---|
| Research Institution | Tokyo University of Technology |
|---|
Principal Investigator |
柴田 千尋 東京工科大学, コンピュータサイエンス学部, 講師 (00633299)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
吉仲 亮 東北大学, 情報科学研究科, 准教授 (80466424)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 表現学習 / 情報ボトルネック法 / 分布エンコーディング |
|---|
| Outline of Annual Research Achievements |
本研究では，教師あり，教師なしを問わず， 深層ニューラルネットの内部において，より解釈性が高く，かつ質の高い埋め込み表現を得るための試みを行っている．特に本年度は，文書分類を行う深層ニューラルネットに対し，超球面上への分布エンコーディング，および情報ボトルネック法を用い，内部状態の可読性が向上するかどうか，および，識別率が上昇するかどうかを検証した．その具体的な手法として，まず，隠れベクトルがクラス情報だけを保持するように，クラスごとにアンカーとなるような分布の中心ベクトルを用いる．一般に，深層ニューラルネットを用いた文書分類では，出力層に近い層において，各ラベルごとに，埋め込みベクトルのクラスタが存在することが知られている．本研究で用いる，分布の埋め込み表現と情報ボトルネックの目的は，ラベルベクトル（以降アンカーとよぶ）を文書の埋め込み表現とを陽に類似させるようにするという点，もう一つは，情報ボトルネック法つまり，内部ベクトル相互情報量を最大化することにより， よりよい表現を得ることができる点である．とくに，分布埋め込み表現を超球面上に限定することにより，埋め込み表現の自由度を制限することにより，高精度化と可解釈性の向上を図る手法を提案した．実験の結果，分布エンコーディングを行わず，代わりにドロップアウト法を用いるなどしたベースラインの手法と比較して，より識別性が高く，かつ，t-sneなどで2次元にマップした際にもより解釈性の高い内部表現が学習の結果得られることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の目的は，学習の結果，情報が深層ニューラルネット内にどのように表現されているかを探求するものである．本年度は，文書分類という比較的容易なタスクに限定しているものの，実際にどのように表現されているかを可視化することが可能であった点，および分布エンコーディングや情報ボトルネック法によって，表現がどのように変化するかを明らかにした点，また，超球面上の分布にエンコーディングする手法を新たに提案し，それにより分類精度の高精度化および，可解釈性の向上が可能となった点において，一定程度の進展を得ることができたと考えられる．
|
| Strategy for Future Research Activity |
今後は，文書分類に限らず，言語モデルなどの教師なし学習においても，分布エンコーディングや情報ボトルネック法の適用により，モデルの高精度化や，可解釈性の向上を可能とすることができるかを検討していく予定である．
|
| Causes of Carryover |
計算機などの物品費が，本年度はすでに存在した古い計算機を使用したことにより，予定よりもかからなかったこと，および，3月に予定していた学会や国際会議が社会的に止む終えない要因により，軒並み延期，中止されたため，参加費や旅費が予定よりもかからなかったこと，が理由として挙げられる． 使用計画としては，メモリが十分に乗った計算機またはGPUの購入，学習用の言語資源データの購入，および，学会の参加費などを予定している．
|
