2015 Fiscal Year Research-status Report
multiraterデータを用いて測定の信頼性および妥当性を検討する方法
| Project/Area Number |
26780362
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
久保 沙織 早稲田大学, グローバルエデュケーションセンター, 助教 (70631943)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 同一立場内に複数の評価者がいるMTMRデータ / 教育場面におけるMTMRデータ / 収束的妥当性 / 弁別的妥当性 / 信頼性 / マルコフ連鎖モンテカルロ法 / 360度フィードバック / 確認的因子分析モデル |
|---|
| Outline of Annual Research Achievements |
本研究の第2の目的は，同一立場内に複数の評価者がいるMTMR(multitrait-multirater)データにおいて，測定の信頼性および収束的妥当性・弁別的妥当性を適切に評価するための方法を提案することであった。2015年度は，この目的を達成するための研究に取り組んだ。例えば，企業における360度フィードバックでは，1人の被評価者につき，同一評価者内で複数の測定値が得られる可能性があり，その数は被評価者によって異なることが多い。評価者の人数は，測定の精度に直接影響を与える要因であるにも関わらず，平均値を用いた従来の分析では，その影響を適切に評価できていないと考えられる。それ故に，信頼性と妥当性に関する解釈もまた，誤ったものになることが懸念される。
まず，同一立場内に複数の評価者が存在する場合に，その平均値を用いて確認的因子分析モデルを実行するとき，評価者の人数に応じて分散成分がどのように変化するかを数学的に導出した。その結果，同一立場内に複数の評価者が存在する場合には，評価者の人数に応じて誤差分散が異なることが明らかになった。本研究では，被評価者ごとに異なる誤差分散の推定を可能にするためのアプローチとして，MCMC法を利用した推定方法を提案する。
360度フィードバックの実データに対する適用例を通して，本手法の利点と実用可能性を検討した。分析の結果，同一立場の評価者から複数の評価結果が得られた場合に，平均値を利用した相関行列に従来のモデルをそのまま適用すると，誤差分散が過小評価されることが明らかとなった。誤差分散の過小評価は，提案手法の適用により改善される。すなわち，MCMCによる推定を行うことで，被評価者ごとに異なる他者評価の人数を統計的に適切に処理した上で，正確な信頼性と妥当性が求められる可能性が示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，2つの目的を設定していた。第1の目的は，MTMRデータを分析対象とした確認的因子分析モデルにおいて，各特性について計算される方法による重み付き和得点の信頼性係数および収束的妥当性と弁別的妥当性を表す係数を定式化し，各適用領域における実質科学的な知見を活かした重みの決め方を検討することであった。この目的については，2014年度に信頼性係数および収束的妥当性と弁別的妥当性を表す係数の定式化を行い，人事評価場面における適用例の提示と，結果の考察を行った。人事評価場面においては，導出した係数の有用性が示唆される結果となった。
第1の目的には，人事評価以外の評定場面にも目を向け，これまでほとんど例がなかった教育場面においてMTMRデータを収集し，各評価者の立場の違いが信頼性と収束的妥当性・弁別的妥当性に対してどのような影響を持っているのか明らかにすることも含まれていた。2015年度は，ジャパンGEMS (Great Explorations in Math and Science) センターの研究員の協力の下，GEMSプログラムに参加した講師と小学生，そしてその保護者を対象とした質問紙調査を実施し，教育場面におけるMTMRデータの収集を行った。
第2の目的については初年度より研究を進め， 目的達成のための方法として，MCMC法を利用した推定方法の提案に至った。その成果については，2015年9月に開催された2015年度統計関連学会連合大会において発表を行った。
以上より，当初の研究計画と順番は前後するものの，研究計画全体としては，概ね予定通りの進捗と言える。
|
| Strategy for Future Research Activity |
2015年度に収集した教育場面におけるMTMRデータを用いて，評価者の立場ごとの評定傾向の違いについて考察し，人事評価場面における結果との比較検討を行う。さらに，当該データについて，初年度の研究で導出した特性ごとの和得点の信頼性と妥当性に関する係数を計算し，適用例として示す。その結果について考察するとともに，人事評価場面での結果も踏まえ，本係数の実用可能性を総合的に検討する。以上の研究成果を，平成29年の日本教育心理学会で発表し，同学会の機関誌である教育心理学研究に投稿する。
また，上述した第2の目的の研究成果について，国際学会で発表するとともに，論文としてまとめ，投稿する。
|
| Causes of Carryover |
ジャパンGEMSセンターの研究員からの協力が得られたことで，教育場面におけるMTMRデータ収集のための質問紙調査において，回答者に対する謝金として用意していた金額が少額で済んだため。質問紙調査の実施が当初の計画より遅れたため，このデータの入力および整理に要する人件費も繰り越された。また，大学における教育活動の都合により，2015年度は国際学会に参加することができなかったため。
|
| Expenditure Plan for Carryover Budget |
次年度使用額が生じた理由は上記の通りであり，主な使用計画は以下となる。質問紙調査により収集したデータの入力および整理のため，早稲田大学の大学院生に研究補助者として協力を依頼する。また，MCMC法を利用した計算にはマシンパワーが必要であることが研究の過程で明らかとなったため，論文の執筆・投稿に向けた再計算のため，PCを購入する予定である。その他については，当初の使用計画と大きな変更はない。
|
Research Products
(4 results)
