Statistical Representation of Internal States of Depth Neural Networks and Exploration of New Learning Methods

2022 Fiscal Year Research-status Report

• Project/Area Number: 18K11449
• Research Institution: Hosei University
• Principal Investigator: 柴田 千尋 法政大学, 理工学部, 准教授 (00633299)
• Co-Investigator(Kenkyū-buntansha): 持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508) ; 吉仲 亮 東北大学, 情報科学研究科, 准教授 (80466424)
• Project Period (FY): 2018-04-01 – 2024-03-31
• Keywords: 形式言語 / Transformer / RNN

Outline of Annual Research Achievements

昨年度に引き続き、本研究ではRNNやTransformerを対象とし、構文の構造がどのように表現されるかについて調査を行っている。Transformerは、任意の二つの離れた単語間の信号関係を計算するレイヤー（主にアテンション機構と呼ばれる）を積み重ねた構造を持っており、一般的に言ってより優れた言語モデルを構築可能とされているが、理論的な観点からは、RNNが表現できる言語クラスがより大きいとされている。
本研究では、特定の言語クラスに属する人工言語からサンプルされた文の集合を訓練データとして使用し、RNNとTransformerの間に存在する性質上の違いについて実験を行った。用いた言語は主にサブレギュラーと呼ばれる、複雑さの階層をもつ言語クラス群からなり、文中に現れた単語の出現の回数や順序、隣接関係を記述可能なクラスである。また、わずかな違いを持つような敵対的テストデータと呼ばれる概念を提唱している。実験をすすめることで、学習モデルが持つ一定の性質が明らかになることが期待される。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究が順調に進んでいる理由としては、複雑さの階層をもつサブレギュラー言語クラス群を対象にした適切な訓練データを用いてRNNとTransformerの性質を検証できる状態になったこと、敵対的テストデータを用いてモデルのロバスト性や性能を詳細に評価できることがあげられる。実験を進めることで学習モデルの性質が明らかになることが期待される。

Strategy for Future Research Activity

研究が順調に進んでいるため、引き続き実験と検証を行い、RNNとTransformerの性質上の違いについてより理解を深めることが重要である。これにより、例えば、学習モデルの解釈性に関する知見が得られ、今後の言語モデルの発展に寄与すると考える。

Causes of Carryover

コロナウイルスの影響で物品費と旅費を中心に 次年度使用額が生じた。次年度は物品費(計算機，周辺機器等)および学会出張旅費として使用する。

Research Products

• [Journal Article] MLRegTest: A Benchmark for the Machine Learning of Regular Languages (2023)
  • Author(s): Sam van der Poel, Dakotah Lambert, Kalina Kostyszyn, Tiantian Gao, Rahul Verma, Derek Andersen, Joanne Chau, Emily Peterson, Cody St. Clair, Paul Fodor, Chihiro Shibata, Jeffrey Heinz
  • Journal Title: arXiv Volume: 2304.07687 Pages: 1-38
  • Open Access / Int'l Joint Research