| Research Abstract |
昨年度は, テスト項目(問題)間の類似度推定精度の向上を目的とし, ベクトル空間モデルに基づいた項目間類似度の推定手法を検討した. テスト項目間類似度の定量化が可能となれば, 同一項目データベース内, または, 異なる項目データベース間で類似項目を検索することが可能となる. さらに, 類似項目を利用した適応型テストに関する研究や作問支援に関する研究に応用することができる. 手法の検討に際し, 文書の生成過程を確率的にモデル化したLatent Dirichlet Allocation (LDA)の適用を試みた. LDAは, 対象とするテスト項目集合内で出現する語の共起性を基に, 各テスト項目の内容を表す語(トピック)を一つ, または, 複数推定することができる. そこで, テスト項目において推定されるトピックの特徴を詳細に分析し, LDAの適用可能性と適用方法や項目のベクトル表現方法の分析・検討を行い, 項目間の類似度推定手法を提案した. 提案手法では, LDAによる適切なトピックの推定を行うために, 予め, テスト項目内で問われる専門用語の出現箇所(問題文, 正答, 誤答)を自動決定するという前処理法に重要性がある.
そこで, 提案手法による類似度算出の精度を示すために, 一般的な文書を対象とした類似度算出手法と, 上述した提案手法を利用し, 類似するテスト項目を自動検索する実験を行った. 実験では, あるテスト項目に対して, 専門家が類似すると判断されたテスト項目を漏れなく検索しているか(再現性), また, 類似されたテスト項目だけを検索しているか(適合性)を評価した.
評価の結果, 一般的な類似度算出手法に比べ, 提案手法の再現性と適合性の向上が示された. これらの評価結果から(1)LDAを用いることの有効性や(2)前処理法の有効性が示唆された.
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
昨年度の研究計画では, 研究テーマ1 : 項目類似の自動推定と研究テーマ2 : 類似項目を利用した適応型テストを行う予定であった, 研究テーマ1に関しては実験・評価まで終えることができたが, 博士論文の執筆などにより, 研究テーマ2に関しては着手することができなかった.
|
| Strategy for Future Research Activity |
今後は, 研究テーマ2 : 類似項目を利用した適応型テストに関する研究と研究テーマ3 : 類似項目を利用した作問支援に関する研究に着手する. まず, これらの研究を円滑に進めるために, 実験用サーバや計算用サーバの構築を行い, 大規模な項目データベースを用意し, 類似項目を検索可能なシステムの開発を行う. 研究テーマ2では, 新規項目の難易度や被験者の理解度を定量化するために, テスト理論などの専門知識の習得や項目の出題パターンや選択肢間の類似性に着目した分析を行う. 研究テーマ3では, 作問手順や選択肢間の類似度に着目した分析を行う. これらの分析結果をまとめて, 各研究テーマで手法を提案する予定である.
|
