2017 Fiscal Year Annual Research Report
Development of a New Toolkit to Aid in Assessment of Writing in Japanese: An Integrated Approach Utilizing Human and Machine Evaluation
| Project/Area Number |
26284074
|
|---|
| Research Institution | Nagoya University of Foreign Studies |
|---|
Principal Investigator |
田中 真理 名古屋外国語大学, 外国語学部, 名誉教授 (20217079)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
阿部 新 東京外国語大学, 大学院国際日本学研究院, 准教授 (00526270)
坪根 由香里 大阪観光大学, 観光学部, 教授 (80327733)
佐々木 藍子 大学共同利用機関法人人間文化研究機構国立国語研究所, 大学共同利用機関等の部局等, 研究員 (70622075)
鈴木 陽子 (影山陽子) 日本女子体育大学, 体育学部, 准教授 (60366804)
小町 守 首都大学東京, システムデザイン研究科, 准教授 (60581329)
長谷部 陽一郎 同志社大学, グローバル・コミュニケーション学部, 准教授 (90353135)
李 在鎬 早稲田大学, 国際学術院(日本語教育研究科), 教授 (20450695)
|
|---|
| Project Period (FY) |
2014-04-01 – 2019-03-31
|
| Keywords | ライティング評価 / 自動評価 / パフォーマンス評価 / マルチプルトレイト評価 / 総合的評価 / 第2言語としての日本語 / ヨーロッパ / 機械評価 |
|---|
| Outline of Annual Research Achievements |
本研究は，「人間」によるライティング・パフォーマンス評価と「機械」学習にもとづくウェブシステムを融合させることによって，第2言語としての日本語ライティング評価及びライティング教育の支援ツールを開発することを目的とする。
2017年度は，（1）新しく開発したライティング評価基準のワークショップと，その評価基準を使って評価したヨーロッパの学習者のライティング分析についてのパネル発表，及び（2）学習者のライティングの自動評価システム（最終version）の構築を行った。
データ評価班は，6月の第42回アカデミック・ジャパニーズ・グループ研究会でライティング評価ワークショップを行い，本科研で開発したフローチャートを用いた評価方法を紹介した（「スパッと決まる(!?) ライティング評価を目指して：フローチャートの活用」）。また，9月のリスボンでのThe 15th EAJS International Conference／第21回ヨーロッパ日本語教育シンポジウムにおいて「ヨーロッパ日本語学習者のライティング（エッセイ）分析：総合的評価とマルチプルトレイト評価結果を参照して」と題するパネル発表を行った。その他，田中がアメリカのワシントン大学に招かれ，ライティング評価ワークショップ（What is Good Writing: Thinking through Assessment Practice）を行った。
システム構築班は，データ評価班（人間）によってレベル付け（総合的評価とマルチプルトレイト評価）されたデータ（学習者のライティング）のテキスト特徴量等によって，自動評価システムを構築した。その結果を新しいデータに当てはめ，現在検証中である。自動評価システムは，レベル判別，テキスト情報以外に，データ評価班が作成したメタ言語リストをもとに作られた「メタ言語ハイライト表示」機能も備えている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
以下の1～3を勘案して，「おおむね順調に進展している」と評価した。
1. 自動評価システムは，レベル評価（総合的評価とマルチプルトレイト評価）に関しては現在検証中であるが，テキスト情報，メタ言語ハイライト表示機能は既に完成し，有効に使えることが期待される。例えば，テキスト情報は，単に語数等を表示させるのではなく，第1段落や最終段落が全体に占める割合等を示し，「構成」の指導に役立つような工夫がされている。また，メタ言語ハイライト表示については，評価班がリストを作成し何度も修正を重ねたので，ほぼ正確にハイライトされる。このハイライト表示は，教師がライティング指導を行うに当たって，日本語としての接続表現のチェックのみならず，「構成」を指導する際に重要な機能となる。このように，これまでの言語能力中心の評価からwriting expertise（文章能力）を向上させることに力を注いだシステムとなっている。
2. フローチャートを用いた評価システムは，自動評価構築のための大量のデータを評価班が評価した際に，評価の一致度を上げ，効率的に評価できるように工夫した結果できたもので，いわば本科研の副産物である。しかしながら，評価が一致しやすく，評価時間を短縮できる，評価者自身の評価者内信頼性を上げるというメリットを確認できた。その結果，この評価法を紹介するワークショップを行う等，日本語ライティングの評価基準に新しい試みを行った点で評価できる。
3. モード別のライティング・データに関しては，「比較・論証」のライティングは，レベル別サンプルも選び，分析も行ったが，他のモード（「描写」「ナラティブ」）に関しては分析ができておらず，今年度の課題となっている。
|
| Strategy for Future Research Activity |
2018年度は，以下の1～4を行う予定である。
1. 自動評価システムを完成させ，公開する。
2. 自動評価のサイトと科研のGood Writingのサイトをリンクさせ，日本語ライティング教育・教師支援ツールを完成させる。自動評価のサイトでは総合的評価レベルとマルチプルトレイト評価レベル，テキスト情報，メタ言語ハイライト機能を，Good Writingのサイトではプロンプト・サンプル，レベル別ライティング・サンプル，自動評価のサイトの活用法を表示する。
3. モード別ライティングに関しては，「比較・論証」モードのライティングはGood Writingのサイトにレベル別サンプルを表示する（上記2）。「描写」「ナラティブ」のライティングについても，分析を進める。
4. 成果発表に関しては，8月に日本語教育国際大会（ヴェネツィア）で，口頭発表「ライティング評価におけるフローチャートの開発：評価の一致を目指す場合」及びポスター発表「欧州日本語学習者によるライティングのレベル別サンプル－ホリスティック評価とマルチプルトレイト評価から見える多様性－」を行う。大会終了後，大会に参加している海外研究協力者を対象に報告会を行う。欧米言語話者のモード別ライティング・データの閲覧システム，自動評価の内部公開を行い，海外協力者との共同研究の可能性を検討する。8月下旬のCAJLE（カナダ日本語教育振興会）で，「トレイト別フローチャートを用いたライティング評価：カナダ・アメリカにおける応用」と題するラウンドテーブルを行う。本科研で開発した評価システムを，カナダやアメリカのような非漢字圏でのライティング教育や継承語教育で使用できないか，検討する。2019年3月の言語処理学会で自動評価のデモを行う（予定）。また，時期未定であるが，最終年度なので，自動評価の公開を含めた本科研の報告会を行うことを検討している。
|
| Causes of Carryover |
30年度が最終年度であるため、記入しない。
|
| Expenditure Plan for Carryover Budget |
30年度が最終年度であるため、記入しない。
|
