評価者の行動特性に基づくピアレビュー学習システムの構築
| Project/Area Number |
21K02792
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
本村 康哲 関西大学, 文学部, 教授 (80299122)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岩谷 洋史 姫路獨協大学, 人間社会学群, 講師 (00508872)
毛利 美穂 関西大学, 東西学術研究所, 非常勤研究員 (70556026)
稲葉 利江子 津田塾大学, 学芸学部, 教授 (90370098)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
|---|
| Keywords | ライティング / ピアレビュー / ルーブリック / 評価 / 行動観察 / アイトラッキング / ルーブリック評価 |
|---|
| Outline of Research at the Start |
本研究では、学生被験者の協力のもとに統制実験を行い、視線追跡、行動観察、インタビュー調査を通してレビュアの評価特性を明らかにし、(1)信頼性の高いピアレビュー手法、(2)使いやすいユーザインタフェースを備えたピアレビューシステム、(3)評価教育プログラムの開発を行う。
|
| Outline of Annual Research Achievements |
本研究ではレポートや卒業論文などの学修成果物を学生同士がピアレビューすることによる学習効果を明らかにするとともに、ピアレビューの精度を向上させるシステムの開発を目的としている。このため、ピアレビューの信頼性、評価教育プログラムの開発、ピアレビューシステムのユーザインタフェース改善について研究を進めてきた。これまで、学生被験者を対象とした文章評価実験とインタビュー調査を行い、質的および量的の両方から研究を進めてきた。
これまでの研究では、1人のレビュアが複数観点を含むルーブリックを用いて文章をレビューする際に、先行評価と後続評価の印象が著しく異なる場合には、後続評価が先行評価の影響を受けやすいことを示した。しかしながらまだ十分なサンプルサイズを得ることができていないため、引き続き実験を実施してデータを収集してその傾向を確認し、補正するシステムおよび教育プログラムを検討していく予定である。また、「評価対象となる課題文」と「評価に用いるルーブリック」のうち参照する順序によって評価行動が異なることを明らかにした。
これらの研究成果は日本教育工学会の論文誌へショートレター形式の論文として投稿したが、条件付き掲載となったため、表現の見直し等を行って再投稿を予定していた。しかし、2022-2023年度は代表者の個人的な事情で作業が進まなかったため、2023年度末から2024年度にかけて論文の再検討を行い、日本教育工学会の研究会への投稿を予定している。
これまでの研究で得られた評価実験データを中心に画面収録ビデオデータの行動観察分析を継続している。ビデオ映像による行動観察データは情報提供者の行動（文章読解時、ルーブリック参照時、評価シート記入時）を記録したものであり、テキストに起こしてコード化を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
2022年度に続いて研究代表者の親族が新型コロナウイルス感染症に罹患し急逝したことから自宅整理や相続手続などの対応に追われたため十分な研究時間の確保が困難であった。
|
| Strategy for Future Research Activity |
2024年度はこれまでの研究の遅れを取り戻すべく作業を進めていきたい。前年に引き続きこれまで取得した実験データ分析を継続するとともに、研究プラットフォーム“ActiveClass”（課題番号：18K02843で開発）を使用してこれまでの研究の総括を行う。
一方、この2年間に発表されたChatGPTをはじめとするテキスト生成AIが本研究の方向性に与えた影響は大きく、従前のライティング教育そのものが再検討を迫られている。ティーチングアシスタントやピア学生による評価や指導は、読み手から即自的な評価が得られるなど一定の効果は認められつつも、個々のバイアスによる評価の違いや不安定性があり、本研究はこれを吸収することを目的としていた。しかし、学生自身がオンラインの生成AIを利用して自己評価し、文章を修正することはすでに実用的に行われるようになっている今日、生成AIを利用したライティング成果物の評価手法の確立が急務であるため、今後はこれについても検討を進めていきたい。
|
Report
(3 results)
Research Products
(1 results)
