| 研究課題/領域番号 |
18K11449
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 法政大学 (2021-2023)
東京工科大学 (2018-2020) |
|---|
研究代表者 |
柴田 千尋 法政大学, 理工学部, 准教授 (00633299)
|
|---|
| 研究分担者 |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
吉仲 亮 東北大学, 情報科学研究科, 准教授 (80466424)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2020年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2019年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2018年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
|---|
| キーワード | 深層学習(ディープラーニング) / 形式言語理論 / 形式言語 / Transformer / RNN / 表現学習 / 自然言語処理 / 情報ボトルネック法 / 分布エンコーディング / 深層学習 / 内部表現 / LSTM / ディープラーニング / 統計的学習理論 / 時系列予測 |
|---|
| 研究成果の概要 |
深層学習のモデルが，内部でどのような処理を行っているのかを明らかにすることは，説明可能なAIへ向けてのアプローチの一つである．本研究では，実際に学習させたRNNやTransformerなどの深層学習モデルに対して，構文構造の観点から分析を行った．とくに形式言語モデルを用いて，どのような統語的(=構文的)特徴を学習することができ，それらがどのように内部ベクトルに表現されているかについて，一部明らかにし，追求を行った．また，内部表現以前の問題として，構文的には間違えているが僅かな違いしか持たないような敵対的なデータセットを用いて，深層学習モデルが本当に構文的な正誤を獲得できているのかを検証した．
|
| 研究成果の学術的意義や社会的意義 |
RNNやTransformer などの言語モデルがどの程度構文的な知識を獲得できるのか，また，獲得できるとすれば，それらがどのように埋め込まれるのか，言語モデルの理論に照らし合わせて追求することで，未だにブラックボックスである深層学習モデルの説明可能性に対して一定の方向性を示すことができたと考える．また，今後とも，形式言語クラスやそのアルゴリズム的学習の理論的な研究と，実際の産業で使われるような深層学習の分野との架け橋としての役割を果たしていきたい．
|
