2022 Fiscal Year Research-status Report
| Project/Area Number |
21K02759
|
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
武田 俊之 関西学院大学, 高等教育推進センター, 教育技術主事 (70227031)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 教育理論データベース / 専門用語抽出 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
2022年度は以下の研究をおこなった。
(1) 教育研究コーパス構築 昨年度に引き続き、教育に関する日本語の学術研究論文、科研費の研究課題情報、オープン教材（Open Educational Resources）、書籍情報を収集して、必要な前処理をおこない、テキストデータ（コーパス）の構築をおこなった。前処理には論文PDF等のレイアウト検出およびテキスト抽出、文字の正規化処理、必要な字句訂正が含まれる。
(2) 図表からの情報の抽出 昨年度に引き続き、論文PDFから図表（画像を含む）を抽出した上で、そこから変数のテキスト情報を抽出するソフトウェアの開発をおこなった。
(3) キーワードの抽出 昨年度に引き続き、各リソースからキーワードを抽出するソフトウェアを開発した。キーワードの同義語を検出するプログラムの開発をおこなった。既存のキーワード抽出手法にはそれぞれ特徴があるため、採用を一つに限らず利用することにした。また、キーワードの集計および視覚化をおこなった。
(4) 概念および変数の抽出のための言語モデル構築 学術論文等を入力として、用いられる概念および変数名を抽出するための言語モデルを、BERT系のPretained Modelのファインチューニングによって構築を実験中である。
(5) ChatGPTの評価 本研究における昨年度に発表されたChatGPTの評価と本研究課題における可用性について評価をおこなった。ChatGPT/GPT-4は極めて優秀な大規模言語モデルベースのサービスであるが、本研究課題における専門用語（概念）抽出タスクでは精度が十分ではなく、一方で埋め込みベクトル（embeddings）を本研究の成果と組み合わせることは有用であると評価している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度はCOVID-19の影響もあり研究補助者の雇用が困難であり、また、以下の予期せぬ研究上の課題に直面したが、総合的に見ておおむね順調に進展しているといえる進捗であった。
(1) ChatGPTのインパクト 11月末に発表されたChatGPTは過去の大規模言語モデルと比較して極めて高い能力を持つ。ChatGPTへの影響の評価の検証を3月のAPI公開後におこなった結果、全般に優秀なモデルではあるが、本研究の目的においては準備している手法は同等以上の性能の可能性が示唆された。一方でChatGPTの埋め込みベクトル（embeddings）APIは本研究を補完するために有用であることがわかった。
(2) 計算リソースの不足 ChatGPTに限らず大規模言語モデル開発研究の進歩は極めて速く、追随するためには膨大な計算リソースを必要とする。これは本研究課題設定時にはまったく想定外のものであり、本研究の予算額では計算リソースが不足することになった。これは本質的に克服することはできないが、キーワード抽出や言語モデル利用の工夫によって、研究目的を達成する見込みはできた。
(3) 教育研究コーパスの構築 (2)と関連して、計算量の不足を補うために研究論文等から作成中のコーパスの質はきわめて重要である。論文だけではなく科研データベースやオープン教材（Open Educational Resources）の情報を用いてコーパスの質向上をおこなった。さらに複数のキーワード抽出手法等を組み合わせたリソース間の関連づけ等新しい方法を試行中である。
|
| Strategy for Future Research Activity |
研究期間最終年度として以下の研究をおこなう。
(1) 言語モデルの改善 論文を入力として概念と変数を抽出する言語モデルの改善に焦点を当てる。これを実現するために、最新の自然言語処理技術を取り入れ、より正確な概念や変数の抽出ができるようにモデルの精度を向上させる。また、学習データの質を向上させることで、より幅広い分野の論文に対応できるようにする。
(2) 言語モデルの評価 共通知識基盤としての言語モデルの妥当性評価をおこなう。まず、アブストラクトを入力とした関連論文の検索において、モデルがどれだけ正確かつ効率的に検索できるかを評価する。次に、用語の検索と関連論文・理論の視覚化について、モデルがどの程度の正確さで情報を抽出し、わかりやすく表現できるかを検証する。
出力される概念語や変数の適切性について評価を行い、モデルが適切な情報を抽出できているかを確認する。この際、専門家による評価や既存の評価指標を用いて、客観的な評価を行うことが重要である。
最後に、システムの信頼性について評価する。これには、モデルが一貫性のある結果を出力し、ユーザーのニーズに対応できるかを検証することが含まれる。また、セキュリティやプライバシーの観点からも、システムが適切に設計されているかを評価する。
|
| Causes of Carryover |
COVID-19の影響の見通しが立たなかったため、国際学会での発表を見送った。今年度は国際学会で発表をおこなう予定である。
|
