2019 Fiscal Year Research-status Report
Developing a Computerized Multistage Test with the Force Concept Inventory
| Project/Area Number |
19K03135
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
安田 淳一郎 山形大学, 学士課程基盤教育機構, 准教授 (00402446)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前 直弘 関西大学, システム理工学部, 特別任用教授 (10796098)
谷口 正明 名城大学, その他部局等, 准教授 (90554113)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 物理教育研究 / 科学教育 / 教育評価 / 学習評価 / テスト理論 / 項目反応理論 / コンピュータ適応型テスト |
|---|
| Outline of Annual Research Achievements |
物理教育における学習成果の評価指標の中で，国際的に最も普及している指標の一つが力学概念指標（Force Concept Inventory，FCI）である。FCIの所要時間は，受験者への説明等の時間を含めて約40分になる。これは教員・受験者にとって負担であり，教員が授業でFCIを実施することをためらう一つの原因となっている。
そこで本研究では，FCIの精度を可能な限り維持しつつ，所要時間を可能な限り短縮することを目的として，FCIの設問を用いたコンピュータ適応型テスト（Computerized Adaptive Testing，CAT）の開発を進めている。CATの特徴は，受験者の解答に応じて出題される設問が最適化されることである。たとえば，受験者が1問目に正答した場合，2問目ではより難易度の高い設問が出題される。このように，受験者の能力と設問の難易度のミスマッチを減らすことで，テストの解答時間を大幅に短縮することが可能になる。
当該年度において，代表研究者らはFCIの設問を用いたCAT（FCI-CAT）を開発・実装した。開発においては，2015年から2018年に実施したFCI調査データ（2882名分）を利用し，項目反応理論に基づき，FCIの項目パラメータを推定した。実装においては，CATのOpen Source PlatformであるConcerto-platformを利用し，受験者がスマートフォンから解答できるようにした。これまで，国内3大学でFCI-CATの試行調査を実施しており，FCI-CATを継続的に改善している。
さらに，FCI-CATの最適な出題設問数について分析した。2015年から2018年に国立A大学で3クラスに実施した事前・事後FCI 調査データを用いて分析した結果，全30問のFCIを10問から15問に短縮できる可能性があることを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「研究実施計画」において，当該年度に下記の項目を実施することを計画していた。
【第１段階として，FCI-CATを開発する。】
（１）CATの構成に必要な項目反応理論の難易度パラメータ等を推定する。パラメータの推定は項目反応理論の複数のモデルに基づいて試行し，FCI-CATが一次元性等の項目反応理論の前提条件を満たすか否かを確認する。もしも前提条件が満たされていない場合は，必要に応じて設問を取捨選択する。
（２）シミュレーションを用いて，FCI-CATにおける能力値の推定等のアルゴリズムとしてどれが適切かを検討する。
（３）FCI-CATの実施環境を構築し，予備調査を行う。環境構築にあたっては，研究代表者の所属機関で開発したスマートフォンアプリ「YU Portal」を活用し，通常の講義室においてもFCI-CATを受験できるようにする。予備調査は，研究代表者らの所属機関の学生数名ずつを対象に実施し，受験者が解答する際の画面表示やデータ保存等に不具合がないかを確認する。
上記（１）から（３）のすべてを遂行したため，「おおむね順調に進展している」と言える。なお，CATの実装にあたっては「YU Portal」よりも自由度の高い，Open Source PlatformのConcerto-platformを利用したが，開発および実施の汎用性は高くなったため，計画時よりも進展したと言える。
|
| Strategy for Future Research Activity |
FCI-CATの最適な出題設問数について，これまでは，実際のFCI 調査データを用いて分析していたが，3クラス分のpre-post解答データの分析に止まっていたため，結果の一般性は明らかになっていない．
そこで代表研究者らは，数値シミュレーションを用いてFCI の解答データを生成し，結果の一般性まで追究する分析を始めている．具体的には，各クラスサイズ（10名から200名）について，各500回分のpre-post解答データを生成し，pre-post差の 効果量（Cohen’s d）がFCI-CATの出題設問数にどのように依存するかを調べている．そして，FCI-CATの出題設問数が何問に達すれば，FCI全30問を出題した場合の結果と同等になるかを分析している．
当初予定していた，約1000～2000名を対象とした大規模なFCI-CATの試行調査については，新型コロナウイルスの影響から実施が見通せない状況にあるが，その期間はシミュレーションを用いた上記の研究にあてる予定である。
|
| Causes of Carryover |
当初の予定では、2019年度に科研費を使用して海外研究協力者を招聘し、研究打合せを実施する予定であったが、本研究課題とは無関係の別の予算で当該研究者が来日することになり、その機会を利用して本研究課題についての研究打合せを実施できた。2019年度に節約できた費用は、2021年度に当該研究者を招聘する予算として使用する予定である。
|
