| 研究課題/領域番号 |
21K00806
|
|---|
| 研究機関 | 久留米工業高等専門学校 |
|---|
研究代表者 |
小田 幹雄 久留米工業高等専門学校, 制御情報工学科, 教授 (80300648)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 言語モデル / 統語構造 / 意味構造 |
|---|
| 研究実績の概要 |
本研究の目的は，言語コーパスに基づく統語構造(Syntactic structure)学習モデルと意味構造(Semantic structure)学習モデルを統合した言語モデルを構築して，その活用を検討することである．初年度は，統語構造および意味構造を獲得するための基礎実験を行った．具体的には，研究計画中の第一の課題である「入力文から統語構造を獲得する深層学習法の改良検討」および第2の課題である「入力文から意味構造を獲得する深層学習モデルの検討」に関連する研究を行った．
統語構造を獲得するには，文法誤り訂正モデルを発展させることが有効と考え，最新の深層学習による文法誤り訂正法を調査し，BEA2019 Shared Taskの研究結果の一つであり，TransformersとBERT(Bidirectional Encoder Representations from Transformers)を融合した文法訂正モデルであるKaneko et al.のBert-gecモデルを選定し，文法誤りを含む文に関する学習データを用いて実験し，M2スコアを用いて評価した．
つぎに，意味構造の獲得として、いくつかの意味構造グラフを検討した．その中で，最も文の抽象的が高い表現法であるるAbstract Meaning Representation(AMR)に注目した．深層学習によるAMRの知識獲得のためは，文とAMRの学習データが必要であるため，グラフ構造をトークン列に表現することを検討した．CoNLL2019 Shared Taskで用いられたAMRデータからトークン化した学習データを作成し，トークン分類問題として，BERT事後学習モデルを実験し，グラフ構造のトークン化法および学習法を評価した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
統語構造を獲得するために，TransformersとBERTを融合した文法訂正モデルであるBert-gecモデルを実験評価したが，このモデルを統語構造の獲得モデルに改良するまでには至らなかった．また，意味構造グラフをBERTのトークン分類問題として事後学習して評価したが，グラフ構造を前提とした学習モデルへ改良する課題が解決されていない．
|
| 今後の研究の推進方策 |
統語構造の獲得に関して，最新の文法訂正モデルを改良して統語構造を獲得する学習モデルに改良することが課題である．また，意味構造の獲得に関して，グラフ構造を前提とした学習モデルへ改良することが課題である．上記課題を解決するために引き続き学習モデルを検討する．学習モデルの能力は，モデルパラメータ数にも大きく依存するため，より大規模なメモリを有するGPUを搭載したワークステーションの購入も検討する．
|
| 次年度使用額が生じた理由 |
所有する計算機を実験に使用したため，GPUを搭載したワークステーションの設備備品を今年度に購入しなかった．理由は，能力の高い学習モデルを構築するには，より大規模なメモリををもつGPUを搭載したワークステーションが必要であり，GPUのコストパフォーマンスが年々向上している状況において，本助成金内でより高性能なワークステーションを取得するために，次年度に購入することとした．
|
