2022 Fiscal Year Research-status Report
経済シナリオ分析のための因果関係インスタンス認識技術の確立
| Project/Area Number |
21K12010
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
坂地 泰紀 東京大学, 大学院工学系研究科(工学部), 特任講師 (70722809)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 因果関係インスタンス / 事前学習モデル / グラフニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
タグ付けを行った決算短信データ、タグ付与済みの英語ロイターニュース記事、FinCausalのデータセットを用いて因果関係インスタンス抽出実験を行い、日英の文書から因果関係インスタンスを抽出できる手法の開発に取り組んだ。結果的に、BERTとグラフニューラルネットワークを組み合わせることで既存の手法よりも高い精度で因果関係インスタンスを抽出できる手法の開発に成功した。加えて、中国語からの因果関係も検討するために、タグ付けを開始した。
また、因果関係インスタンスを抽出する前に行うフィルタリングに関する研究についても、グラフニューラルネットワークを用いる手法を提案し、「BERTとGATを用いた金融テキストにおける因果関係を含む文の判定」というタイトルで言語処理学会年次大会にて発表を行った。
因果関係インスタンスを抽出するためにドメイン特化のBERTモデルの構築も行った。作成した事前学習モデルは、Web上で公開しており、誰でも無料で利用可能となっている。こちらに研究に関しては、「Constructing and analyzing domain-specific language model for financial text mining」というタイトルでInformation Processing & ManagementというElsevierの論文誌に採録された。加えて、ドメイン特化の事前学習フレームワークについては、「Gradual Further Pre-training Architecture for Economics/Finance Domain Adaptation of Language Model」というタイトルで、IEEE BigData 2022に採録された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
開発したモデルが期待以上の性能で因果関係インスタンスを抽出することができた。また、日本語、英語を問わずに高い性能であったことから、言語に依らない手法である。
加えて、ドメイン特化の事前学習モデルの構築も行い、その性能評価も進んでおり、モデルの有用性を様々なタスクで示すことができている。
さらに、作成した事前学習モデルは、Web上で公開しており、誰でも無料で利用可能となっている。
|
| Strategy for Future Research Activity |
抽出した因果関係インスタンスを用いて、因果チェーンを構築する手法の開発も進める。言語に依存しない手法を構築することで、日本語・英語の両方で因果チェーンを構築する。さらに、日本語と英語の因果関係インスタンスの類似度を算出する手法を開発し、日英にまたがる因果チェーンの構築を目指す。
|
| Causes of Carryover |
使用額に端数が生じたが、無理やり使うことなく、次年度に持ち越した。使用計画としては、物品購入費にあてる予定である。
|
