2017 Fiscal Year Research-status Report
マウス軌跡情報の記録・検索・分析を通した学習者評価システム開発に関する研究
| Project/Area Number |
16K02880
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
厨子 光政 静岡大学, 情報学部, 教授 (90187823)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮崎 佳典 静岡大学, 情報学部, 教授 (00308701)
法月 健 静岡産業大学, 情報学部, 教授 (30249247)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | eラーニング / 学習ログ / マウス軌跡情報 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
Ｈ28年度の研究に引き続き、英単語並べ替え問題の解答時のマウスの軌跡情報の分析を進め、学習者が答えを導き出す過程にアプローチして、従来のe-learningシステムにおける学習時間、解答率や正解率といった学習結果の評価より正確に、学習者の理解度を把握する学習評価システムの開発を試みた。マウス動作の軌跡データから、学習者が問題を解く過程における「迷い」を見つけることができれば、理解度の判定に繋げることが可能であるという仮説を立て、「迷い」を判別するシステム（分類器）を構築した。分類器の構築においては、マウス奇跡のパラメータ（「移動時間」「移動距離」「移動速度」「静止時間」「Uターン回数（X軸方向、Y軸方向）」「D&D回数」「D&D時間」などと、解答の迷いあり／なしとの関連性を、機械学習における教師あり学習の手法を用いた。分類器の精度を評価するため、26名の学生を対象として実験を行った。
学習ソフトのインタフェースを改良し、学習者の迷いと軌跡データとの関連性を検出できるようにした。具体的には、解答過程において英単語の並べ替え（単語を文中に置く位置）が難しく感じられた単語数に応じた迷いのレベルを3段階準備し、学習者は迷いのレベルを選択しなければ、次のステップに進めないように設定した。
実験で得られたデータから、学習者の迷いを分類器で判定したところ、判定の正しさを検証する「再現率」「適合率」「それらの調和平均」のいずれも、８０％を超える確率で正しく迷いを検出できたことを示した。また、迷いの判別に貢献した上位のパラメータは「次に移動する単語を探す時間」「解答時間」「移動速度」「Ｙ軸方向Ｕターン回数」であることも判明した。一方で、学習者により迷いの判定に効果的なパラメータが異なることも分かった。
これらの一連の実験・分析・考察結果は、国内の学会・学会誌において発表し、一定の評価を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度の研究では主に、1.学習者の解答過程における迷いの有無の判定、2.問題の文法項目別管理と学習者の弱点克服支援システムの開発、3.より使いやすいインタフェースの構築、の3つに取り組んだ。
1については、教師あり機械学習の手法を用いることでかなりの確度で迷いの有無の判定が可能であることを実証し、迷いの判定に寄与する特徴量（マウス軌跡のパラメータ）を特定したが、判定確度の向上と特徴量の絞り込みに向けてさらなる実験を行う必要がる。
2については、実験に使った30問を、問題中で最も多く含まれている5つの文法項目（否定、前置詞句・副詞句、to 不定詞、動名詞、関係詞）に分け、解答の正誤および迷いあり／なしと、マウス軌跡のパラメータとの相関関係を調べた。その結果、解答の正誤および迷いのあり／なしのいずれもパラメータとの間に相関関係があることが判明した。しかしながら、誤解答および迷いが示された文法項目（弱点）に焦点を当てた学習を自動的に促すシステム構築には至っておらず、弱点項目の学習は学習者の自主性または教師自身の指導にゆだねられているのが現状であるため、弱点項目を含む問題群へのリンクの準備に継続的に取り組まなければならない。
3については、学習者自身が迷いの有無を申告する際の負担を軽減することがポイントである。迷いの申告は、分類器による判定が正しいかどうかを検証する上で必須のデータなので省くことはできないが、学習者にとっては問題への集中を妨げる負担でもある。その負担を最小限にするために、迷った単語を記述するのではなくクリック選択で申告できるように設計し、さらに迷として選択した単語数に基づいて迷いのレベルをシステムが判断するようにインタフェースを改良した。
|
| Strategy for Future Research Activity |
先ずは、29年度に残った課題に取り組む必要がある。迷いの判定の確度を高めるためには、分類器の構築に使うラベルと特徴量のデータの精度をより高めなければならない。ラベルは、学習者自身が申告する迷いのある／なしであるが、明確な強い迷い、ある程度の迷い、弱い迷いなどの分別は、学習者本人にも難しい場合もあるので、どのレベルの迷いを「迷いありのラベル」として機械に学習させるか、さらなる検討が必要である。また、特徴量には、マウス軌跡を表す9つのパラメータを使っているが、そのほかにも有力なパラメータがないかどうかを調べたり、これまで使用したパラメータの組み合わせを一つの有効なパラメータとして特徴量に加えることが可能かどうかなど、詳細な検証が必要である。
また現在は、機械学習の手法を用いて学習者グループ全体のデータから構築した分類器で、各解答（個人の学習の個々の解答）の迷いを判定するため、学習者個人の個性を判定に加味することを行っていない。たとえば、「マウス速度が遅い」という特徴量をもとに迷いがあるとする判定は、グループ全体の多くの解答には当てはまるものの、マウス操作に慎重な学習者の場合には「マウス速度が遅い」ことが迷いの表れとはならないこともある。このような学習者の個性を判定材料に加えるにためには、機械学習の手法で判定した結果を、さらに何か別の方法で判定するなど、工夫が必要である。
分析データ数を増やし多角的に考察できるように、今後もさらなる実験を重ねながら、上記の工夫や検証を行う。
|
| Causes of Carryover |
参加を予定していた研究会と本務校の業務が重なるなどの理由で、研究会への参加等による予算執行計画の一部に変更があったために、次年度使用額が発生した。これをＨ30年度分として請求した助成金と合わせても、当初予定していたＨ30年度の予算と大きな差はないので、研究計画そのものは特に変更はしないで、実験用デバイスの購入、研究会参加・投稿などの費用に充当し、有効かつ適切に使用する。
|
Research Products
(5 results)
