| Project/Area Number |
17650253
|
|---|
| Research Category |
Grant-in-Aid for Exploratory Research
|
| Allocation Type | Single-year Grants |
|---|
| Research Field |
Educational technology
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
牟田 博光 東京工業大学, 大学院社会理工学研究科, 教授 (70090925)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中川 正宣 東京工業大学, 大学院社会理工学研究科, 教授 (40155685)
前川 眞一 東京工業大学, 大学院社会理工学研究科, 教授 (70190288)
|
|---|
| Project Period (FY) |
2005 – 2006
|
| Project Status |
Completed (Fiscal Year 2006)
|
| Budget Amount *help |
¥3,400,000 (Direct Cost: ¥3,400,000)
Fiscal Year 2006: ¥1,200,000 (Direct Cost: ¥1,200,000)
Fiscal Year 2005: ¥2,200,000 (Direct Cost: ¥2,200,000)
|
|---|
| Keywords | 国際協力 / 二次評価 / 内容分析 / 事後評価 / レイティング / 二次分析 / 分散分析 / PDM / 国別変数 |
|---|
| Research Abstract |
今日、透明性の高い評価が必要とされているが、評価をすべて外部者が行うことには無理があり、第一義的には内部の自己点検、自己評価が大事になる。内部評価は事情に精通した者が行うという意味で妥当性は高いが、客観性、透明性という意味では問題がある。そこで、内部評価結果を第三者が再度評価(二次評価)する事が現実的に可能な方法として考えられる。しかし、誰が、どのように二次評価すれば、納得性の高い結論が得られるかに関しては理論も経験の蓄積もほとんどない。本研究では客観的で妥当な二次評価結果を得るための方法論を開発し、多くの事例に適用してその実用性を証明することをねらっている。
一次評価手法の妥当性を含め、内容の分析にまで踏み込んで二次評価を行うことが出来れば、効率の良い評価が期待できる。一つの案件について複数の人間が評価するとはいえ、評価基準の統一は難しい。大学評価学位授与機構では事前に評価者の講習会を催し、評価基準の説明を行ってはいるが、作業をさせて結果をつきあわせると言った実務的な訓練ではなく、単なる概念や手続きの説明だけに終わっている。評価結果は評価者によって異なることは経験的に知られているが、その評価者の評価傾向を分析しようという視点はこれまでなかった。そこで、評価デザインを工夫する研究によってこの問題の解決をはかろうとした。
本研究の基礎データは一次評価結果に基づく二次評価結果である。二次評価結果は「真の評価結果」と「評価者の評価傾向」に分割できる。「真の評価結果」が大きく「評価者の評価傾向」が小さいことが望ましい。そこで、訓練や客観的評価基準の作成によって、どの程度「評価者の評価傾向」を小さくできるかの吟味を行った。実験的な試みによれば、2次評価を行う場合に、評価者が同じような視点から評価することが重要である。大学院生にプロジェクト評価報告書を2回評価させ、評価の変化をみた。2回の評価の間には、グループディスカッションを行った。その結果、2回目の評価点は1回目の評価点に比べると辛くなる傾向がみられた。また、目標達成の検証可能性や効率性、情報分析に関連する項目は評価点の揺らぐ程度が大きいことが明らかになった。
|
