2021 Fiscal Year Research-status Report
Statistical Representation of Internal States of Depth Neural Networks and Exploration of New Learning Methods
| Project/Area Number |
18K11449
|
|---|
| Research Institution | Hosei University |
|---|
Principal Investigator |
柴田 千尋 法政大学, 理工学部, 准教授 (00633299)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
吉仲 亮 東北大学, 情報科学研究科, 准教授 (80466424)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 表現学習 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
昨年度までは，リカレントニューラルネットワーク(RNN)における代表的なネットワーク構造であるLSTMを中心に，その内部にどのような形で構文などの非線形な構造が学習されているかについて，探求をおこなってきた．一方で本年度は，LSTMだけではなく，Transformer を視野に入れ，どのように文の構造が表現されるのかについて，探求を行った．Transformer は，任意の二つの離れた位置にある単語に対して，その信号の関係を計算（主にアテンションと呼ばれる機構）するレイヤーを積み重ねた構造をしているため，LSTMよりも直接的に，構文木が内部で表現されていることが知られている一方，理論的な観点からは，RNNのほうが表現できる言語クラスが大きいことが知られている．実際に，ある特殊な言語クラスに属する人工言語からサンプルした文の集合を訓練データとして学習したときに，RNNとTransformer では，どのような性質上の違いがあるのかについての実験を計画している．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
Transformer は， LSTMなどの既存のRNNよりも，ニューラルネットワークの構造として，学習結果の精度などの観点から優れていることは，近年の膨大な研究論文により広く知られていることである．一方で，Transformer の学習で十分優れた精度を得るためには，実際には非常に規模の大きい訓練データを直接用意するか，または，規模の大きい別のデータにおいて事前学習を行っておく必要がある．また，人工言語からサンプルしたデータは，単語の数が少ないことや，単語の分布が異なるなど，自然言語と性質的に異なることがあるため，それらを考慮する必要がある．
|
| Strategy for Future Research Activity |
Transformer と RNN とで構文情報の内部表現にどのような差があるのかを人工データを用いて検証する．
|
| Causes of Carryover |
コロナウイルスの感染が収束しないために発表自体がオンラインとなったり、前述の通り，予定していた実験が行えなかった影響があり，物品費と旅費を中心に次年度使用額が生じた。次年度は物品費(計算機，周辺機器等)および学会出張旅費として使用する。
|
