2014 Fiscal Year Research-status Report
multiraterデータを用いて測定の信頼性および妥当性を検討する方法
| Project/Area Number |
26780362
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
久保 沙織 早稲田大学, 付置研究所, 助教 (70631943)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 多特性多評価者(MTMR)データ / 収束的妥当性 / 弁別的妥当性 / 信頼性 / 多面観察評価 / 構造方程式モデリング |
|---|
| Outline of Annual Research Achievements |
本研究における第1の目的は，MTMR(multitrait-multirater)データを分析対象とした確認的因子分析モデルにおいて，各特性について計算される方法による重み付き和得点の信頼性係数および収束的妥当性と弁別的妥当性を表す係数を定式化し，各適用領域における実質科学的な知見を活かした重みの決め方を検討することであった。2014年度は，これらの係数を数学的に導出し，人事評価場面での適用例を示した。
実践において測定の信頼性や妥当性に影響を与える重要な要因の1つとして項目数に注目し，「重み」を項目数ととらえ，実データの分析を行った。産業能率大学の人事アセスメントツールの1つである“ビジネス基礎力診断S-BASE”による多面観察評価データを用い，評価者ごとの項目数の変化が，測定の信頼性や収束的妥当性，弁別的妥当性にどのように影響するのか検討した。
評価者の立場（自己・上司・同僚）ごとの評定傾向の違いとして，自己評価は信頼性，妥当性ともに低い傾向にあること，上司評価の信頼性は高いこと，自己評価と他者評価との相関は低いが他者評価同士の相関は比較的高いことなど，先行研究と同様の傾向が見られた。このようなデータにおいて，評価者の立場によって回答してもらう項目数を変化させた場合に，特性ごとの和得点の信頼性および収束的妥当性，弁別的妥当性がどのように変化するのか，導出した係数を実際に計算し，結果について考察した。
分析の結果，自己評価の項目数を増やすと信頼性と妥当性は低下する一方で，上司評価と同僚評価の項目数を増やすと信頼性と妥当性の向上につながることが明らかとなった。この結果は，人事評価における現状を鑑みても合理的であり，本研究で導出した係数を利用することで，測定全体の信頼性と妥当性という観点から，実現可能な範囲内で，評価者ごとに最適な項目数の配分を検討できる可能性が示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，2つの目的を設定していた。
第1の目的については，信頼性係数および収束的妥当性と弁別的妥当性を表す係数の定式化を行い，人事評価場面における適用例の提示と，結果の考察まで達成できた。これらの研究成果については，人材育成学会の機関誌である人材育成研究の第9巻1号(2014年3月)に掲載された(pp. 19-31，査読あり)。教育場面におけるMTMRデータを収集するための質問紙調査は昨年度中に実施できなかったものの，人事評価場面においては，導出した係数の有用性が示唆される結果となった。
第2の目的については，当初，2015年度以降に取り掛かる予定であったが，既に研究を進めている。本研究の第2の目的は，同一立場の評価者が複数いる場合に，測定の信頼性と妥当性を適切に評価する方法を提案することであった。本目的に関しては，同一立場内の複数の評価者から評定結果が得られているとき，被評価者ごとに平均値を用いて確認的因子分析モデルを適用する場合における分散成分を数学的に導出するところまではできている。結果として，評価者の人数の影響は，誤差分散の値の違いとして現れることが明らかとなった。現在は，同一立場内の評価者の人数に応じて被評価者ごとに異なる誤差分散を表現するためのモデル，およびその推定方法について検討中である。1つのアプローチとして，多母集団同時解析モデルの適用を試み，その結果については，International meeting of psychometric society 2014に於いてポスター発表を行った。
以上より，研究計画全体としては，おおむね予定通りの進捗と言える。
|
| Strategy for Future Research Activity |
本研究の第1の目的を達成するために，教育場面におけるMTMRデータの収集を予定していた。そこで，ジャパンGEMS (Great Explorations in Math and Science) センターの研究員の協力の下，GEMSプログラムに参加した講師と小学生，そしてその親を対象とした質問紙調査の実施を計画中である。現在，質問項目の作成に取り組んでおり，2015年度秋までには調査を実施する予定である。
調査実施後は，収集したデータを用いて，評価者の立場ごとの評定傾向の違いについて考察し，人事評価場面における結果との比較検討を行う。さらに，同一データについて，2014年度の研究で導出した特性ごとの和得点の信頼性と妥当性に関する係数を計算し，適用例として示す。その結果について考察するとともに，人事評価場面での結果も踏まえ，本係数の実用可能性を総合的に検討する。以上の研究成果は，平成28年の日本教育心理学会で発表し，同学会の機関誌である教育心理学研究に投稿する。
また，本研究の第2の目的に関してはすでに，分散成分の数学的な導出までは終えている。同一立場内の評価者の人数に応じて被評価者ごとに異なる誤差分散を表現するためのアプローチとして，一般的には多母集団同時解析モデルが考え得る。しかし，多母集団同時解析モデルを安定的に推定するためには比較的大きな標本サイズを要する上に，特定の群のみ標本サイズが極端に小さい場合には信頼できる推定結果を得ることができないという問題があり，MTMRデータの特性上，この問題を避けて通ることはできない。したがって，別のアプローチを考える必要があり，現在，適切なモデルおよびその推定方法について検討中である。研究の成果は，International meeting of psychometric societyで発表を行い，論文としてまとめ，投稿する。
|
| Causes of Carryover |
初年度に実施を予定していた質問紙調査が実施できなかったため，アンケート謝金として用意していた金額が未使用のままとなった。
|
| Expenditure Plan for Carryover Budget |
次年度使用額が生じた理由は上記の通りであり，主な使用計画は以下となる。平成27年度には，科学・数学領域の参加体験型プログラムのワークショップに参加した小学生とその親，そしてワークショップの講師を対象とした質問紙調査を実施する。ここで，調査協力者に謝金または謝礼としての図書カードを用意する予定であり，「謝金」または「その他」の支出となる。また，質問紙調査により収集したデータの入力および整理のため，早稲田大学の大学院生に協力を依頼する。
したがって，翌年度分として請求した金額については，当初の使用計画と大きな変更はない。
|
Research Products
(3 results)
