Statistical Representation of Internal States of Depth Neural Networks and Exploration of New Learning Methods
| Project/Area Number |
18K11449
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Hosei University (2021-2022)
Tokyo University of Technology (2018-2020) |
|---|
Principal Investigator |
柴田 千尋 法政大学, 理工学部, 准教授 (00633299)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
吉仲 亮 東北大学, 情報科学研究科, 准教授 (80466424)
|
|---|
| Project Period (FY) |
2018-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2020: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2018: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 形式言語 / Transformer / RNN / 表現学習 / 自然言語処理 / 情報ボトルネック法 / 分布エンコーディング / 深層学習 / 内部表現 / LSTM / ディープラーニング / 統計的学習理論 / 時系列予測 |
|---|
| Outline of Annual Research Achievements |
昨年度に引き続き、本研究ではRNNやTransformerを対象とし、構文の構造がどのように表現されるかについて調査を行っている。Transformerは、任意の二つの離れた単語間の信号関係を計算するレイヤー（主にアテンション機構と呼ばれる）を積み重ねた構造を持っており、一般的に言ってより優れた言語モデルを構築可能とされているが、理論的な観点からは、RNNが表現できる言語クラスがより大きいとされている。
本研究では、特定の言語クラスに属する人工言語からサンプルされた文の集合を訓練データとして使用し、RNNとTransformerの間に存在する性質上の違いについて実験を行った。用いた言語は主にサブレギュラーと呼ばれる、複雑さの階層をもつ言語クラス群からなり、文中に現れた単語の出現の回数や順序、隣接関係を記述可能なクラスである。また、わずかな違いを持つような敵対的テストデータと呼ばれる概念を提唱している。実験をすすめることで、学習モデルが持つ一定の性質が明らかになることが期待される。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究が順調に進んでいる理由としては、複雑さの階層をもつサブレギュラー言語クラス群を対象にした適切な訓練データを用いてRNNとTransformerの性質を検証できる状態になったこと、敵対的テストデータを用いてモデルのロバスト性や性能を詳細に評価できることがあげられる。実験を進めることで学習モデルの性質が明らかになることが期待される。
|
| Strategy for Future Research Activity |
研究が順調に進んでいるため、引き続き実験と検証を行い、RNNとTransformerの性質上の違いについてより理解を深めることが重要である。これにより、例えば、学習モデルの解釈性に関する知見が得られ、今後の言語モデルの発展に寄与すると考える。
|
Report
(5 results)
Research Products
(7 results)
-
[Journal Article] MLRegTest: A Benchmark for the Machine Learning of Regular Languages2023
Author(s)
Sam van der Poel, Dakotah Lambert, Kalina Kostyszyn, Tiantian Gao, Rahul Verma, Derek Andersen, Joanne Chau, Emily Peterson, Cody St. Clair, Paul Fodor, Chihiro Shibata, Jeffrey Heinz
-
Journal Title
arXiv
Volume: 2304.07687
Pages: 1-38
Related Report
Open Access / Int'l Joint Research
-
-
-
-
-
-
