教育工学分野における国際教育協力評価のベンチマーク開発に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14380074
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 牟田 博光 東京工業大学, 大学院・社会理工学研究科, 教授 (70090925)
• Co-Investigator(Kenkyū-buntansha): 渡辺 良 国立教育政策研究所, 国際研究協力部, 部長 (30141980) ; 齊藤 貴浩 大学評価・学位授与機, 構・評価研究部, 助教授 (50302972) ; 赤堀 侃司 東京工業大学, 教育工学開発センター, 教授 (80143626) ; 米澤 彰純 大学評価・学位授与機, 構・評価研究部, 助教授 (70251428) ; 星野 敦子 十文字女子大学, 社会情報学部, 助教授 (40225793)
• Keywords: 評価手法 / 2次評価 / 外部効果 / プログラム評価 / 収益率 / レイティング / 国際教育協力

Research Abstract

評価の客観性を担保するため、プロジェクトとは無縁な第三者がプロジェクトの成果を評価すべきであるという考え方は強い。しかし、そのような第三者はプロジェクトの内容について熟知しているわけではない。また、評価者は評価内容と評価手法のそれぞれにある程度の専門性がなければならない。評価すべき案件の数の多さを考えれば、第三者がすべてのプロジェクトを直接評価することは不可能である。現実問題としてはプロジェクト関係者が自己評価を行い、それを複数の第三者が2次評価するのが現実的である。
そこで、評定者がすべての評価対象を評定できないようなデータに対して、複数の評定者が評価観点別にレイティングを行い、それを分散分析モデルにより統計処理し、評価結果を真の値と評定者の評価傾向に分割する事によって、評定者による評価バイアスを取り除く手法を開発した。さらに精度の高い分析を行うため、因子分析モデルの適用も試みた。これらの分析の結果、効果的な組織的欠損を組ませることによって精度良く、効果的に大規模データを評価できるデザインを示した。
さらに、評価デザインとして、評定対象を全て評定者が評定できないような場合には、評定者に対して共通評定者の割合を増やすような評定集団を作成することが効果的であることを示した。また、評価モデルとしては評定基準の個人差のみならず、評定傾向を認めたモデルが組織的欠損値を含む評価データにおいても妥当性が最も高いことが確認された。これはデータが揃わずに組織的に欠損させているような評価デザインであっても、パラメタの数を増やしたモデルの方が適切であることを意味する。以上により実際の採点値をそのまま分析するのではなく、共通尺度上で表わされた評価得点によって分析することの重要性を明らかにした。

Research Products

• [Publications] 牟田博光, 中山実: "東工大、教育工学開発センターでISO9001:2000取得、国立大学の独立行政法人化に対応し、組織の自立と業務品質をアピールする"ISOMS、グローバルテクノ社. Vol.92、5月号. (2003)
• [Publications] 牟田博光, 中山実, 青柳貴洋, 西方淳博, 西原明法, 赤堀侃司, 吉原裕貴: "衛星通信による高大連携プロジェクトの運営"日本教育工学会、第19回大会発表論文集. 909-910 (2003)
• [Publications] 西原明法, 青柳貴洋, 中山実, 牟田博光, 内山正史: "国際遠隔教育におけるe-learning教材作成システムの開発と運用"日本教育工学会、第19回大会発表論文集. 851-852 (2003)
• [Publications] 星野敦子, 牟田博光: "コンジョイント分析を用いた大学における授業改善の試み"日本教育工学会、第19回大会発表論文集. 691-692 (2003)
• [Publications] 山中菜詩, 牟田博光: "生きるための知識と技能に影響を与える要因に関する分析-OECDPISA2000の再分析-"日本評価学会全国大会報告論文集、第4回、2003年11月1-2日、立命館アジア太平洋大学. 197-201 (2003)
• [Publications] 高松健一, 牟田博光: "学力に影響を及ぼす学校要因の国際比較"日本評価学会全国大会報告論文集、第4回、2003年11月1-2日、立命館アジア太平洋大学. 202-207 (2003)
• [Publications] 藤谷元子, 牟田博光: "読解リテラシーの規定要因に関する国際比較-OECDPISA2000の再分析-"日本評価学会全国大会報告論文集、第4回、2003年11月1-2日、立命館アジア太平洋大学. 208-211 (2003)
• [Publications] 大久保智哉, 牟田博光, 中川正宣, 前川眞一: "組織的な欠損を持つ評価データの統計分析"日本評価学会全国大会報告論文集、第4回、2003年11月1-2日、立命館アジア太平洋大学. 212-217 (2003)
• [Publications] 牟田博光: "東工大の教育は役に立つか"蔵前ジャーナル. No.975、2003年11/12. 37-39 (2003)
• [Publications] Hiromitsu Muta (ed.): "Mismatch in the Labor Market -Asian Experience-"APO. 2003, Oct.. (2003)
• [Publications] Hiromitsu Muta: "Analysis of productivity indicators -Japan-"Asia-PacificProductovity Data & Analysis 2003, APO. 2004, Feb.. 48-53 (2004)
• [Publications] 牟田博光: "授業改善システムの構築とその効果"京都大学高等教育研究. 第9号. 1-11 (2003)
• [Publications] 牟田博光: "外部有識者評価委員会による2次評価結果"『事業評価年次報告書2003』、2004年1月、国際協力機構. 103-115 (2004)
• [Publications] 高松健一: "学力に影響を及ぼす学校要因の国際比較"修士論文. (2004)
• [Publications] 藤谷元子: "PISA2000における読解リテラシーの規定要因に関する研究"修士論文. (2004)