2021 Fiscal Year Annual Research Report
A Learning Support Environment for Paper Revision Skills based on Cognitive Apprenticeship Theory
| Project/Area Number |
20H04295
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
長谷川 忍 北陸先端科学技術大学院大学, 遠隔教育研究イノベーションセンターセンター, 教授 (30345665)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
NGUYEN MinhLe 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (30509401)
小尻 智子 関西大学, システム理工学部, 教授 (40362298)
國宗 永佳 千葉工業大学, 情報科学部, 教授 (90377648)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 論文改訂スキル / 認知的徒弟制 / 深層強化学習 |
|---|
| Outline of Annual Research Achievements |
(1) 前年度に収集した論文改訂一次コーパスから ，特定の添削コメントを学習者が改訂する際に参考となる文章を抽出する方法として，(a) 前年度に実施したWord2vec，PV-DMに加えて，より高い精度が期待できるBERTのファインチューニングによるベクトル化，(b) 前述のベクトル化情報と出現位置情報に関する統計データを報酬として要約文の選択に利用する強化学習の導入，(c) 少量のアノテーションデータによる学習結果を拡張して未アノテーションデータに活用する半教師有学習の活用，を組み合わせることにより教育工学分野を主な対象とした日本語二次コーパスを構築した．
(2) また，一次コーパスにおける添削コメントの重要度（改定の難しさ）と学生の改訂スキルレベルを同時に推定するために，項目反応理論をベースとしたアルゴリズムを実装した．英語一次コーパスに提案アルゴリズムを適用した結果，添削コメントの具体性に関連する重要度と，それらのコメントの有無による学習者の改訂スキルの推定が一定の精度で行えることを確認した．
(3) さらに，前年度にモデル化した改訂スキ ルの学習支援戦略と構築した多段階コーパスを組み合わせ，学生のレベルに応じた関連情報を推薦するアルゴリズムを開発した．初学者に対しては，研究への関連性が強い一次コーパスを，中級者に対しては，自動生成により内容が一部保証されないがより多様な関連情報が含まれる二次コーパスを含めた推薦を行えるようにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1) 日本語二次コーパスの構築については，より高性能が期待されるベクトル化手法の採用，強化学習の導入，半教師有学習の活用などにより，限られたラベル付きデータセットから二次コーパスを生成する手法をまとめた．さらに，得られた手法は，構造化されている論文内のテキストだけでなく，プレゼンテーションや技術投稿サイト，Q&Aチャット，マルウェア判定，法律文書など様々な用途に対して適用を試みた．
(2) また，添削コメントの改訂の難しさと学生の改訂スキルレベルを推定するアルゴリズムを実装し，英語一次コーパスに適用して妥当性を検証した．その結果，直接的な修正コメントは改訂が比較的容易であり，抽象的なコメントは改訂内容が大きく修正が困難である傾向が明らかとなり，初心者に対しては，当初は抽象的なコメントが多く，改訂が進むにつれて具体的コメントが増加することがわかった．
(3) 関連情報の推薦アルゴリズムについては改善の余地が残されているが，新型コロナウィルス下の研究室教育に対するDX(Digital Transformation)として位置づけ，渡航制限などにより渡日できていない学生の指導にも活用するなど，リモート活動を通じたスキル支援の手法として実装とテスト運用を進めた．これらのことから，それぞれ当初の研究計画をおおむね達成することができたと判断できる．
|
| Strategy for Future Research Activity |
(1) これまでに構築した日本語の一次コーパス，二次コーパスに対して新たな指導内容を追加して拡張するとともに（全員），英語の一次コーパスに対応した英語二次コーパスを作成する．また，自動抽出した二次コーパスと人手による抽出結果の一致度(ROUGE)による評価を行う（長谷川，Nguyen)．
(2) また，項目反応理論に基づく改訂スキルレベルの推定結果を研究者によるルーブリック評価による改訂スキル推定と比較することで，提案手法の妥当性の検証を行う（長谷川，小尻）．
(3) 加えて，学生による論文登録から研究者による添削，フィードバックの提供，学生による論文改訂をオンラインで行える，プロトタイプシステムの開発を行い，論文改訂プロセスに関する実験群(多段階コーパス)と統制群(一次コーパス)を設定して，比較実験を実施する（長谷川，國宗）．また，改訂プロセスに対する研究領域や研究者，言語の相違による影響についても分析を行う．
|
