2016 Fiscal Year Research-status Report
multiraterデータを用いて測定の信頼性および妥当性を検討する方法
| Project/Area Number |
26780362
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
久保 沙織 早稲田大学, グローバルエデュケーションセンター, 助教 (70631943)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | 多特性多評価者データ / 収束的妥当性 / 弁別的妥当性 / 信頼性 / 確認的因子分析モデル |
|---|
| Outline of Annual Research Achievements |
本研究の目的の一つとして，教育場面においてMTMR（multitrait-multirater）データを収集し，信頼性および収束的妥当性，弁別的妥当性の観点から，各特性の重み付き和得点の適切な重みの決め方を検討することを挙げていた。ジャパンGEMS（Great Explorations in Math and Science）センターの研究員の協力を得て，GEMSプログラムに参加した小学生児童とその保護者を対象とした質問紙調査を実施し，教育場面におけるMTMRデータを収集した。参加児童に対する調査では，「先生と話をしているうちに，自分の考えがはっきりすることがあった。」「大事なところはどこか考えた。」などプログラム参加時の行動や態度に関する14項目について，それぞれどれくらい当てはまるか回答を求めた。保護者には，同一の項目内容について，子どもの日常生活の様子としてどれくらい当てはまるか回答を求めた。
2016年度は，得られたデータの整理を行い，平均値や標準偏差，相関係数などの記述的指標をもとに，評定者の立場による評定傾向の違いについて考察した。その結果，保護者に比較して子どもの方が自身の行動や態度に対して良い評価を下しやすく，その評定値の個人差も大きいことが明らかとなった。さらに，同一の質問項目に対する子どもの評定と保護者の評定との相関係数は総じて低かった。これら基礎分析の結果から，人事評価場面で得られる360度フィードバックに代表されるMTMRデータと，教育場面で得られるMTMRデータには顕著な評定傾向の違いがあることが示された。そのため，教育場面におけるMTMRデータについて重み付き和得点の信頼性係数および収束的妥当性係数，弁別的妥当性係数を算出する際には，これまで扱ってきた360度フィードバックのデータとは全く異なる重みを検討する必要性があると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，2つの目的を設定していた。第1の目的は，MTMRデータを分析対象とした確認的因子分析モデルにおいて，各特性について計算される方法による重み付き和得点の信頼性係数および収束的妥当性と弁別的妥当性を表す係数を定式化し，各適用領域における実質科学的な知見を活かした重みの決め方を検討することであった。第2の目的は，同一の立場の評定者が複数いる場合に，測定の信頼性と妥当性を適切に評価する方法を提案することであった。
第１の目的については， 2014年度に信頼性係数，および収束的妥当性と弁別的妥当性を表す係数を導出し，人事評価場面における適用例の提示と，結果の考察を行った。人事評価場面においては，導出した係数の有用性が示唆される結果となった。さらに，2016年度までに教育場面におけるMTMRデータの収集およびその整理と基礎分析を行った。今後は，本データを分析対象として，重み付き和得点の信頼性係数および収束的妥当性係数，弁別的妥当性係数を算出し，適切な重みの決め方について検討していく。
なお，第2の目的については初年度より研究を進め， 同一立場内の評定者の人数に応じて被評定者ごとに異なる誤差分散を正確に推定するための方法として，マルコフ連鎖モンテカルロ法を利用したベイズ推定を提案した。教育場面でのデータを収集したことで，新たな課題も明らかになったものの，研究計画全体としては概ね予定通りの進捗と言える。
|
| Strategy for Future Research Activity |
2015年度に収集した教育場面におけるMTMRデータでは，本調査が子どもを対象としていること，および，保護者からの回答を後日郵送で求めたことなどの理由により，欠測が多かった。信頼性係数および妥当性に関する係数を算出するための確認的因子分析を実行するためには，現状では標本数が足りないため，追加でデータの収集を行う。
新たに収集したデータを加えて，初年度の研究で導出した特性ごとの和得点の信頼性と妥当性に関する係数を計算し，教育場面におけるMTMRデータに対する適用例を示す。その結果をもとに，各評定者に対する重みの検討を行い，人事評価場面での適用結果も踏まえ，本係数の実用可能性を総合的に評価する。以上の研究成果は，日本教育心理学会の機関誌である教育心理学研究に投稿したい。また，第2の目的の研究成果について，国際学会で発表するとともに，論文としてまとめ，投稿する予定である。
|
| Causes of Carryover |
ジャパンGEMSセンターの研究員からの協力が得られたことで，教育場面におけるMTMRデータ収集のための質問紙調査において，回答者に対する謝金の支払いが必要なくなったため。また，大学における教育活動の都合により，2016年度は国際学会に参加することができなかったため。
|
| Expenditure Plan for Carryover Budget |
次年度使用額が生じた理由は上記の通りであり，節約できた直接経費を利用し，教育場面におけるデータをさらに追加で収集したい。データ数を増やして分析することで，研究目的の一つである各領域における知見を活かした得点への重みの決定について，より精緻な検討が可能となることが期待できる。また，研究成果の一部を2017年7月に開催される国際学会International Psychometric Societyにて発表する予定である。
|
