2023 Fiscal Year Annual Research Report
Statistical Representation of Internal States of Depth Neural Networks and Exploration of New Learning Methods
| Project/Area Number |
18K11449
|
|---|
| Research Institution | Hosei University |
|---|
Principal Investigator |
柴田 千尋 法政大学, 理工学部, 准教授 (00633299)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
吉仲 亮 東北大学, 情報科学研究科, 准教授 (80466424)
|
|---|
| Project Period (FY) |
2018-04-01 – 2024-03-31
|
| Keywords | 深層学習(ディープラーニング) / 形式言語理論 |
|---|
| Outline of Annual Research Achievements |
最終年度では，複雑さの階層をもつサブレギュラー言語クラス群を対象にした適切な訓練データを用いてTransformerの性質を検証を行った。また，実際にサブレギュラー言語クラスに相当するデータセットに対して Transformer モデルの学習を行い，どの程度の大きさのTransformer で学習できるかの検証を行った．また，RNNとの比較を行った．その結果，RNNとTransformer モデルでは，データセットのターゲットとなっている言語クラスに入るかどうかという binary classification の学習においては，ほとんど精度上の変化が出ないことがわかった．一方で， causal language model (ある時刻 t までの記号列(prefix)を入力し，次の時刻 t+1 の記号の生成される確率を学習するモデル) では，Transformer モデルのほうが優れていることがわかった．このことから，形式言語のクラスのような，理論的な観点から作成された人工的な時系列データにおいても，Transformer モデルのほうが有効であることがわかった．一方，Transformer モデルでは， positional embedding があるなど，RNNのような記号列の情報を固定長ベクトルに集約するタイプのモデルではないことから，例えばオートマトンの状態とRNNの内部状態の対応関係のように，埋め込み表現との直接的な比較で分析することは難しいため，Transformer のattention 機構に特化した分析の方法に関して，さらなる研究が求められる．
|
