2022 Fiscal Year Annual Research Report
大規模学術文献データのネットワーク構造を考慮した事前学習言語モデルに関する研究
| Project/Area Number |
20K12076
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
森 純一郎 東京大学, 大学院情報理工学系研究科, 准教授 (30508924)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 学術文献データ / 事前学習言語モデル / 引用ネットワーク / 表現学習 |
|---|
| Outline of Annual Research Achievements |
学術文献データの増加とそれに伴うデータのオープン化の背景の元、膨大な学術文献データから新発見や課題解決に繋がる多様な学術知を抽出することの重要性が認識されてきている。本研究では、大規模な学術文献データから有用な知識の抽出と発見を支援することを目的に、学術文献データのネットワーク構造を考慮 した大規模ハイパーテキストデータからの事前学習言語モデルの構築に関する基本的な方法論の研究を行う。
まず、COVID-19のパンデミックの発生以降において、その学術研究は急速に増加していた。そこで、関連する学術文献データセットに対 して引用ネットワーク解析を行い、COVID-19に関する科学的エビデンスや重要な技術などの情報を抽出した。その解析結果を広く一般に公開するとともに、これらの研究成果を複数の国際学会で発表した。
次に、 大規模学術文献データの文献間の引用関係に基づくハイパーテキストデータから事前学習言語モデルを構築する技術として、引用ネットワーク構造を考慮した文献テキストコーパスからの事前学習言語モデル構築のための予測問題の設計と実装に取り組んだ。また、事前学習言語モデルを用いて大規模な学術献データから有用な知識の抽出と発見を支援するための技術として、事前学習言語モデルにより獲得された分散表現を用いた引用ネットワークのリンク予測およびノード分類タスクによる評価に取り組んだ。これらの研究成果を自然言語処理分野のトップジャーナルの一つであるTACLを含め複数の論文誌および国際学会で発表した。
最後に、2022年度について、期間中に研究開発を行った手法を応用し、萌芽的な学術論文の発見、サーベイ論文の自動生成、研究トピックの抽出と時系列変化の可視化など、複数の新たなタスクに取り組んだ。これらの研究成果を複数の学会で発表し、その成果は学会での優秀論文受賞に至った。
|
