2013 Fiscal Year Research-status Report
学習者自己評価文章に基づく学習行動と学習状況の推定に関する研究
| Project/Area Number |
25350311
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Kyushu Institute of Information Sciences |
|---|
Principal Investigator |
合田 和正 九州情報大学, 経営情報学部, 准教授 (50320396)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
峯 恒憲 九州大学, システム情報科学研究科(研究院, 准教授 (30243851)
石岡 恒憲 独立行政法人大学入試センター, その他部局等, 教授 (80311166)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 教授学習支援システム / 学習行動評価 / 学習状況評価 / コメント分析 |
|---|
| Research Abstract |
研究目標： 当該年度は、「PCN法適用のために評価作業の自動化」という目標に向けて研究する。
研究方法： 分析を自動化するために、評価に利用する語句を定義し、点数化の基準を明確化するとともに、抽出規則を定義する。この定義に基づいて、評価作業を自動化する分析システムを試作し、評価作業の負荷を減らし、これまでの評価判断を踏襲可能とする点数化のバランスについて検討する。分析素材となる学習者の自己評価記述文は、自然言語で書かれているため、システム化の際には、フリーの形態素解析器や構文解析器などを活用する。
研究成果： 4つの成果１）自動化に向けた基準を策定した。自動化のために自己評価文の評価4項目(P,C,N,O)について各々適合した内容をきちんと書いているかどうかを示す指標：PCNスコアを導入し、自己評価文章を自動的に数値化できるようになった[1]。２）PCNスコアの妥当性の検証1:PCNスコアから最終成績グレードを推定し、推定精度はPの0.71が最高値であった[1]。３）PCNスコアの妥当性の検証2:成績グレードの推定精度とPCNスコアとの相関を求め、最上位グレードでは、Cスコアとの相関が最高値で, 0.79であった[2]。４）Cスコアの妥当性の詳細な確認:PCNスコアのうち、特にCスコアのみを用いてクラスタ分析により最終成績グレードを推定した。その結果、5つの成績グレードに対して上位から順に0.54, 0.61, 0.43, 0.45, 0.53という精度を得た。
ノイズデータを検出して除去すると、すべてのグレードに対して改善できた。また、授業回ごとに推定精度の推移を求めた。これらの成果は査読付き国際会議論文として発表した。
([1]ICWL2013, [2]ACM SIG-ITE RIIT, [3] CSEDU2014)
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
達成できた項目は4つある。１）評価基準の設定：評価の自動化に先駆けて評価判断基準を考案した。まず、評価に利用する単語の抽出のために、単語頻度に基づく方法に基づき分析を進め、項目ごとに特徴語を抽出できた。単語出現ベクトルをSVMに入力して正データと負データとを分割する超平面を生成し（SVMモデル）、そこからの距離を指標とすると自己評価文章の各項目に含まれる文を評価して点数化することができた。この点数をPCNOの項目名から「PCNスコア」と名付け評価判断基準とした[1]。２）評価作業の（半）自動化：評価作業は2つのフェーズからなる。第1フェーズでは、訓練データ（自己評価記述文の一部）を用いてSVMモデルを生成する。第2フェーズでは、第1フェーズで作成したSVMモデルに評価データを適用してPCNスコアを計算する。その際、訓練データも評価データも単語出現ベクトルとして与えるが、文から単語出現ベクトルへの変換は形態素解析ツールにより自動化されている。また、SVMモデルの生成やSVMモデルへの適用はSVMツールがあり自動化されている。以上から評価作業は自動化されている[2]。３）成績グレードの推定：ある成績グレードに入っているかどうかのデータを追加し、グレードを推定した。PCNの3項目ごとに推定し、最上位グレードでは、各項目に対応するPCNスコアと成績グレードのとの相関は、0.3356, 0.7956, 0.6700という結果となった[3]。４）回次ごとの推定8回分のデータの各回次ごとにグレード推定をし、正確度は63.5%から74.0%の間で各回で高低ばらつきがでた。これは記述する動機によるものと考えている[4]。
これらの研究成果は、3件の査読付き国際会議論文として発表した
([1]ICWL2013, [2]ACM SIG-ITE RIIT 2013, [3]CSEdu2014)。
|
| Strategy for Future Research Activity |
学習者の学習状況改善につながる特定の学習行動とその状況の把握と、その時のフィードバックとして提供すべき内容の記録・蓄積・再利用手法の開発や学習者の行動形成（改善や新規）過程の分析や行動形成に向けての適切な情報（指導、助言、激励）などの選択や提供方法への改善を目指す。
平成25年度の研究結果を受けて、次の課題に取り組む。１）フィードバック内容の生成、２）フィードバックの実施とその効果の測定・分析、３）素材となる自己評価記述文のフォーマット（項目数、項目内容）および自動化されたPCN法の改善、４）限られた文字数の素材から判断できる限界や判断の偏りについての検討、５）PCN法の分析結果を補完しうる関連情報の存在と補完しきれない内容を整理、模索する。
平成25年度に達成できた自動化のメリットを活かし、指導者には少ない負担で各授業後に短い時間差での分析が可能になるはずである。これを実現するためにフィードバックの（半）自動生成を目指す。
|
| Expenditure Plans for the Next FY Research Funding |
今年度の使用額が満額にいたらず、次年度使用額として、\56,097が生じた。その理由は、大きく２つある。１つは、金額の端数であり、もう一つは価格状況の変動によるものである。したがって計画や使用に問題があったわけではない。
次年度もひきつづき計画に基づいて適切に使用する予定である
|
