2018 Fiscal Year Research-status Report
評価者・学習者・意見文の分析に基づく評価の検証：作文の自律学習支援を目指して
| Project/Area Number |
18K00680
|
|---|
| Research Institution | Tokyo University of Foreign Studies |
|---|
Principal Investigator |
伊集院 郁子 東京外国語大学, 大学院国際日本学研究院, 准教授 (20436661)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小森 和子 明治大学, 国際日本学部, 教授 (60463890)
李 在鎬 早稲田大学, 国際学術院(日本語教育研究科), 教授 (20450695)
野口 裕之 名古屋大学, 教育発達科学研究科, 名誉教授 (60114815)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | アカデミック・ライティング / 大学教員 / 包括的評価 / 評価コメント / 評価の観点 / コード化 / 共起ネットワーク分析 / コレスポンデンス分析 |
|---|
| Outline of Annual Research Achievements |
本研究は，日本語意見文の評価を左右する要因を多角的に分析したうえで，意見文の評価基準と自己評価用ルーブリックを作成し，自律学習を助けるツールの一つとして提供することを目的としている。
本年度は，意見文30編に対して大学教員44名が記した評価コメントを計量的に分析し，評価の観点とその重みを明らかにするために各種分析を試みた。具体的には，評価コメント（延べ105,057字／65,088語）から評価の観点を網羅的に抽出するために，その手法や手順について検討を重ね，作業マニュアル（評価コメントのリライト基準とコーディング表）を完成した。その後，マニュアルにしたがってコード化を行い，評定値（意見文のレベル），執筆者の母語（日本語，中国語，韓国語，英語），評価者の専門（日本語，その他）と評価の観点の多寡との関連を分析した。分析手法としては，共起ネットワーク分析（KH-Coderによる分析），コレスポンデンス分析，決定木分析を試み，日本語教育学会や第二言語習得学会で研究発表を行った。
また，本年度は，作文評価に関する理解を深め，関心を同じくする研究者・教員・院生と意見交換をすることを目的に，①jWriter『学習者作文評価システム』ワークショップ」（於：東京外国語大学）」，科研費による合同開催の形式で②「作文研究2018」（於：早稲田大学），③「作文評価を考えるセミナー」（於：台湾東呉大学）を開催した。①は機械による作文評価システムの利用法や今後の可能性についての検討，②は最新の作文研究の成果の発信とディスカッション，③は海外で作文評価に関心をもつ方々を対象としたワークショップ・講演および情報交換を目的として企画したものであり，今後の作文研究の進め方について考える契機とすることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の当初計画は①評価コメント（44名×30編）から評価の観点抽出，②各観点の相互関連及び重み（比重）の分析，③評価群ごとの意見文の内容的側面の特徴分析であった。①については，大学教員が評価の際にどのような観点に着目しているかを細かく拾い出して量的・質的に検討することを目的に，評価コメントのコード化を行った。検討の末，述語とその項からなる意味的なまとまりを基本単位として網羅的にコードを抽出する方法をとり，「内容（論旨，立場，根拠，状況把握，譲歩，反論，問題提起）」，「言語（表現力，文体，文法，語彙，接続，表記，誤用）」，「構成（段落間，段落内，バランス，立場，根拠，状況把握，譲歩，反論，問題提起）」，「形式（文字数，原稿用紙，書字，句読点）」，「題」，「書き手」，「読み手」，「印象」，「分類不能」，「なし」の33項目，10カテゴリー（延べ5,798コード）を抽出した。②および③に関連する分析としては，複数の研究手法を用い，「内容」の良し悪しが作文の評価を決定づける最大の要因となっていること，中位群は内容や構成上の要因，下位群は日本語の誤用による分かりにくさや文字数，書字等の形式上の要因が影響して評価が下がっていること，評価の観点によって日本語教員と専門教員の評価の質や量に相違がある可能性があることなど，いくつかの傾向を見出すことができた。
今後引き続き，分析結果を精緻化して考察を掘り下げていく必要性は残されているものの，当初計画していた分析を一通り行うことができたため，おおむね順調に進展していると判断した。
|
| Strategy for Future Research Activity |
次年度の研究の主眼として，評価指標およびルーブリックのたたき台の作成が挙げられる。これまでは評価コメントの計量的分析を中心に進めてきたため，今後は，まず第一段階として，評価コメントの質的分析を進める。具体的には，評価対象となった意見文と照らし合わせ，教員による「内容」・「構成」・「言語」に関するコメントを中心に，その評価のあり方の特徴を明らかにする。学習の背景や進度に応じて有用なルーブリックの形態が異なる可能性も視野に入れ，意見文のレベル，執筆者の母語，評価者の属性による異同を把握できるような分析を試みる。第二段階として，分析の結果を踏まえて評価指標およびルーブリックの形式，提示のし方，文言の検討を開始する。昨年に引き続いて海外の日本語教育機関でのワークショップやセミナーを行い，海外の日本語学習者にとって有用なルーブリックのあり方について意見交換をする機会をもち，その成果をルーブリックの作成に反映させる。
|
| Causes of Carryover |
次年度に海外の高等教育機関にて作文評価を考えるワークショップを開催する計画が持ち上がったため，その渡航費用を確保しておく必要があると考えた。6月頃にその打ち合わせを兼ねて中国に渡航予定である。
|
Research Products
(18 results)
