| 研究課題/領域番号 |
17H04726
|
|---|
| 研究機関 | 電気通信大学 |
|---|
研究代表者 |
宇都 雅輝 電気通信大学, 大学院情報理工学研究科, 助教 (10732571)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2021-03-31
|
| キーワード | eラーニング / パフォーマンス評価 / 項目反応理論 / eテスティング |
|---|
| 研究実績の概要 |
平成29年度には，当初計画に従い，異質評価者に頑健な新たな項目反応モデルの開発を行い，シミュレーション実験と実データ実験を通した提案モデルの性能評価を行った．提案モデルは，一般化部分採点モデルに対して，評価者の評価の一貫性，厳しさ，尺度範囲の制限の特性を反映したパラメータを付与したモデルとして定式化した．評価実験から，提案モデルは，様々な特性の評価者が存在するとき既存モデルより高い性能を示すことが明らかとなった．本研究の成果は2018年1月に電子情報通信学会論文誌Dに採録され，トップカンファレンスであるArtificial intelligence in Education (AIED 2018)での発表も決定している．
また，本モデルの応用として，項目反応理論と整数計画法を用いた最適評価者選択手法の研究も行なった．具体的には評価者特性パラメータを付与した項目反応モデルを用いて，評価者の各学習者に対する能力測定精度を定量化し，情報量を最大化するように評価者を割り当てる手法を開発した．実験から，提案手法を用いることで，少ない数の評価者でより高精度に能力を測定できることを示した．以上の成果は，2018年2月に電子情報通信学会論文誌Dに採録され，AIED 2017にもフルペーパでアクセプトされている．また，IEEE Transactions on Learning Technologiesに条件付き採録されている．
さらに，評価者特性パラメータを付与した項目反応モデルを用いて異なるパフォーマンステストの結果を比較する場合の「等化」精度の問題にも取り組んだ．具体的には，どのようにテストを設計すれば高精度に等化できるかを実験から明らかにした．従来，高精度な等化にはテスト間に最低5人の共通評価者と5つの共通課題が必要とされてきたが，本研究の結果，これらより大幅に少ない共通評価者・課題で十分に等化可能であることが示された．本研究の成果も電子情報通信学会論文誌Dへの採録が決定している．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
平成29年度に実施を計画していた「異質評価者に頑健な新たな項目反応モデルを開発と評価」は，「研究実績の概要」に示した通り，すでに完了している．研究成果は2018年1月に電子情報通信学会論文誌Dに採録され，トップカンファレンスであるArtificial intelligence in Education (AIED 2018)での発表も決定している．また，最終成果をまとめたものを，現在，IEEE Transactions on Learning Technologiesに論文投稿準備中である．
また，本モデルの応用として30年度以降の実施を予定していた「項目反応理論と整数計画法を用いた最適評価者の選択手法の研究」についても研究が進行している．研究成果の一部は2018年2月に電子情報通信学会論文誌Dに採録され，AIED 2017にもフルペーパでアクセプトされている．さらに，最終成果はIEEE Transactions on Learning Technologiesに条件付き採録されている．
加えて，提案技術を実運用する場合の課題の一つとして30年度以降の実施を予定していた「評価者特性パラメータを付与した項目反応モデルを用いて異なるパフォーマンステストの結果を比較する場合の等化精度」の研究も同時に進行している．この成果の一部も，すでに電子情報通信学会論文誌Dへの採録が確定しており，最終成果は30年度中にIEEE Transactions on Learning Technologiesに投稿予定である．
以上のように，平成29年度の計画に加えて，30年度以降実施予定の研究も進展していることから，「（1）当初の計画以上に進展している」と評価した．
|
| 今後の研究の推進方策 |
平成30年度は，平成29年度に開発したモデルを大規模なデータに適用したときにも高速にパラメータ推定を実行するために，パラメータ推定アルゴリズムの高速化を行う．具体的には，ハイブリッド・モンテカルロを用いたMCMC法の開発を計画している．ハイブリッド・モンテカルロには，1）ハミルトニアン・モンテカルロ，2）その拡張のNo-U-Turnサンプラー，3）Metropolis Hastingsの拡張であるMetropolis-adjusted Langevinアルゴリズム，4）スライスサンプリングなど，複数の種類が存在する．これらのアルゴリズムはそれぞれに特徴が異なり，扱う問題に応じてその計算効率も異なる．しかし，項目反応モデルに対して， これらのアルゴリズムの性能差を詳細に検証した研究は見当たらない．そこで，本研究では，提案モデルのパラメータ推定法として，それぞれのアルゴリズムを開発し，それらの性能評価を通して最も効率的な手法を採用する．また，ハイブリッド・モンテカルロの採用により，計算効率の大幅な改善が得られなかった場合には，MCMCアルゴリズムの近似や変分ベイズ法の採用も検討し，大規模データでの高速な推定の実現を目指す．
さらに，平成29年度に前倒しで進めた「項目反応理論と整数計画法を用いた最適評価者の選択手法」と「項目反応理論に基づくパフォーマンステストの等化手法」の研究については，IEEE Transactions on Learning Technologiesへの採録を目標にさらに研究を進める．
|
