2021 Fiscal Year Research-status Report
共参照クラスタを明示的に推定する先行詞の解析誤りに対し頑健な共参照解析手法
| Project/Area Number |
21K17801
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
上垣外 英剛 東京工業大学, 科学技術創成研究院, 助教 (40817649)
|
|---|
| Project Period (FY) |
2021-04-01 – 2023-03-31
|
| Keywords | 共参照解消 / BERT / 知識グラフ / 知識グラフ埋め込み / KGE |
|---|
| Outline of Annual Research Achievements |
本研究課題は共参照解消を行う上で各エンティティ間の関係のみならず直接エンティティが含まれるクラスタを考慮することでより高精度な共参照解消を実現するというものである．これを実現するためには，予測モデルが各エンティティ間の関係を把握しており，誤って無関係なエンティティが同一のクラスタに分類されている際に低い予測値を出力できなければならない．モデルがこのような挙動を行うことを可能とするためには，入力文書中に含まれる各エンティティがどのようなエンティティと類似している，もしくは異なっているかという情報を学習時もしくは予測時にモデルに与えなければならない．このような側面から，初年度はこの様な情報をモデルに与えるための表現として，知識グラフとその補完に焦点を当てた．知識グラフの補完は現在，知識グラフの埋め込みを用いて行われることが多いため，特に知識グラフの埋め込みを対象とした調査を行った．その調査の結果，既存の知識グラフの埋め込みには学習時にいくつかの問題が存在することが判明したため，それらの問題に対処するための研究を行った．一つめの問題点は既存の知識グラフ埋め込み手法の一部は値域に制限が存在するため，学習時に適切なハイパーパラメータを設定しなければ学習が進行しなくなるという問題である．この点に関しては理論的な側面からの検証を行い，実際にモデルに合わせて使用するべきハイパーパラメータの値域を明らかにした．二つ目の問題点はモデルが学習結果に過剰適合することにより汎化性が失われているという点である．この点についても理論的な側面から新たな学習法を提案し，実際にこの手法を用いることで知識グラフの補完精度が向上することを示した．この内容は言語処理学会2022での発表を行い，優秀賞を受賞した．また，現在，その内容を拡張したものを査読付き国際会議であるICML2022に投稿中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
AllenNLPにおいて実装されている共参照解析器に対して事前学習済みの言語モデルであるBERTを適用し，英語，中国語，日本語にて動作することを確認した．現在は共参照解析結果を予測する際に使用されている貪欲法を近傍探索に基づく方法に置換するための実装を行っている．初年度にて行った知識グラフの情報を共参照解析器に適用するための方法は大きく分けて二つの方法が考えられる．一つ目の方法は予測された複数のクラスタ集合に対して，知識グラフの埋め込みモデルを利用して共参照解析結果を新たにスコア付けをし，予測結果の並び替えを行うというものである．二つ目の方法はBERTなどの事前学習モデルに対して，ファインチューニングの形で知識グラフの学習を行い，共参照解析モデルが暗に知識グラフを考慮可能とするものである．二つ目の手法に関しては，事前学習時に使用されるテキスト中のトークンとは異なり，知識グラフ中の各タプルには頻度情報が欠落しているという点がファインチューニング時の問題になると考えられる．この問題点については，初年度において提案したサブサンプリングに基づく知識グラフの学習法を適用することで回避が可能であると考えられる．このように現在において必要な手法の検証はすでに行われている状態であり，初年度の成果を共参照解析器に適用することができれば当初の目標を達成可能であることから，課題の後半にあたる今年度の現段階では順調に進展していると考えられる．
|
| Strategy for Future Research Activity |
今後の研究を推進するにあたっての計画として，共参照解析器において予測時に直接クラスタの情報を考慮できるように，引き続き予測時の動作に関連した部位の実装を最優先で進めることを予定している．またその実装を用いて事前学習モデルによる性能の違い，及び知識グラフを利用した場合の性能改善についての調査を実施する．なお，共参照解析用のデータセットについては英語，中国語，日本語のデータセットを使用可能であるものの，昨今登場している新たな事前学習済み言語モデル及び知識グラフの利用までを範疇に入れた場合，英語以外でのデータエットの利用が困難であることから，対象言語を英語に限定した上での調査を行う．対象タスクについてはCoNLL2012の共有タスクを対象とすることを予定している．さらに下位タスクにおける性能への影響を調査するために，作成した共参照解析器を使用した場合の性能の変化についてを自動要約タスクについて調査することも予定している．
|
| Remarks |
PT2-7「知識グラフ埋め込みにおける負例サンプリング損失の分析」にて優秀賞を受賞
|
