2023 Fiscal Year Research-status Report
| Project/Area Number |
21K02759
|
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
武田 俊之 関西学院大学, 高等教育推進センター, 教育技術主事 (70227031)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 教育理論データベース / 専門用語抽出 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
2023年度は以下の研究をおこなった。
ChatGPT等生成AIへの対応。ChatGPT発表以降の生成AIの進歩は研究計画時点では想定できないレベルで速く、クローズドな商用モデル（ChatGPT、Gemini、Claude等）やLLM-jpをはじめとする日本製の言語モデルなどが開発された。また、言語モデル関連の研究（モデルの性質の解明、性能強化等）論文も多数発表された。本研究は教育に関する専門知識を用いたPre-trainedモデルの微調整による言語モデルの開発が目的であるため、これらの技術の進歩の影響について検討が必要であった。それゆえ、言語モデル関連の論文レビュー、高性能な言語モデル（ChatGPT等）の利用実験、新しい技術（embeddingsの利用やRetrieval Arugmented Generationなど）への対応などに時間を費やすこととなった。
コーパスの拡充。オープン・サイエンスのトレンドもあり、利用できるデータが増えていること、また、論文からの知識抽出手法の継続的改善による言語モデルの品質向上に加えて、生成AIのembeddingsを用いたコーパスの検索と多言語対応を自然かつ高性能に実現することができた。
共通知識基盤としての妥当性評価。複数の生成AI（GPT-4、Gemini、Claude3、Swallowなど）によるタスクの実行を組み合わせることによって、論文の検索結果、研究分野や用語、概念語などの推定がおこなえることを確認した。複数の生成AI （GPT-4等最高性能のもの）にくらべて、本研究で構築したBERTを微調整したモデルが十分な性能を有していることが示唆される結果が得られた。
本研究で実施した研究レビュー、情報やデータの収集を通して、教育における生成AIの利用や教材の生成などについて整理した内容の報告をおこなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
「研究実績の概要」で述べたように、本研究で利用する自然言語処理の発展が極めて速く、本研究の妥当性を確認するために、新しい技術への対応に多くの時間を費やすことになった。本研究の当初の予定からすると進捗は遅れているが、一方で新しい研究（生成AIによる評価やembeddingsの利用による検索の高度化など）の実施や新規性の高い研究の手がかり、応用の可能性などを見出すことができた。
|
| Strategy for Future Research Activity |
研究期間最終年度として以下の研究をおこなう。
(1) 言語モデルの評価。23年度の研究を進めて、共通知識基盤としての言語モデルの妥当性評価をおこなう。生成AIによるジャッジを妥当性を持って実施するための方法はまだ議論が分かれるところであり、本研究で可能な範囲で再現性のある評価方法を決定、実施する。
(2) コーパスの充実。多言語の論文をシームレスに利用する可能性が高くなっており、本研究の目的である概念語と論文群からの理論の可視化の実現へ向けてオープンな論文データを収集してコーパス構築をおこなう。
(3) 本研究の成果をまとめた論文を報告する。
|
| Causes of Carryover |
新しい技術への対応に時間を費やしたため、2023年度に実施予定であった研究計画事項を次年度に繰り延べた。
2024年度は、2023年度に実施予定であった専門家による言語モデル評価の実施およびその準備（謝金、クラウド利用料）、研究成果の作成と報告のための旅費、学会参加費に使用する予定である。
|
Research Products
(3 results)
