日本語ライティング評価の支援ツール開発：「人間」と「機械」による評価の統合的活用

2018 年度 実績報告書

• 研究課題/領域番号: 26284074
• 研究機関: 名古屋外国語大学
• 研究代表者: 田中 真理 名古屋外国語大学, 外国語学部, 名誉教授 (20217079)
• 研究分担者: 阿部 新 東京外国語大学, 大学院国際日本学研究院, 准教授 (00526270) ; 坪根 由香里 大阪観光大学, 観光学部, 教授 (80327733) ; 佐々木 藍子 大学共同利用機関法人人間文化研究機構国立国語研究所, 日本語教育研究領域, プロジェクト非常勤研究員 (70622075) ; 鈴木 陽子 (影山陽子) 日本女子体育大学, 体育学部, 准教授 (60366804) ; 小町 守 首都大学東京, システムデザイン研究科, 准教授 (60581329) ; 長谷部 陽一郎 同志社大学, グローバル・コミュニケーション学部, 准教授 (90353135) ; 李 在鎬 早稲田大学, 国際学術院(日本語教育研究科), 教授 (20450695) [辞退]
• 研究期間 (年度): 2014-04-01 – 2019-03-31
• キーワード: ライティング評価 / 自動評価 / パフォーマンス評価 / マルチプルトレイト評価 / フローチャート / 第2言語としての日本語 / 機械評価 / メタ言語

研究実績の概要

本研究は，人間によるライティング・パフォーマンス評価と機械学習に基づく自動レベル推定とを統合させることによって，第2言語としての日本語ライティング教育・評価のウェブベースの支援ツールを開発することを目的とする。
最終年度の2018年には，自動評価システム（GoodWriting Rater）を完成させ，公開することができた。これは，「比較・意見（論証）」のライティングのトレイト別（「ホリスティック」及び「目的・内容」「構成・結束性」「日本語」）自動レベル判定，テキスト情報の提供，使われたメタ言語のハイライトを行う。自動評価システムは本科研のサイトとリンクし，サイトには「レベル別ライティング・サンプル」「評価用フローチャート」等も公開している。
成果発表としては，8月のICJLE（イタリア）で，ライティング評価のフローチャートの開発についての口頭発表とヨーロッパの学習者のライティング・サンプルのポスター発表を行った。CAJLE（カナダ）では，フローチャートを用いたライティング評価のラウンドテーブルを行い，本評価法が非漢字圏でのライティング教育や継承語教育で使えないか検討した。12月には，本科研主催で自動評価システムの公開セミナーを実施した。さらに，2019年3月には，名古屋大学でライティング評価の統一を目指すワークショップを行った。3月中旬には，ベルギー日本語教師会で自動評価システムの講演・ワークショップを行い，自動評価システムを使用してベルギーの学習者のライティングを分析した。
以上のように，本科研の目的はほぼ達成できたが，自動評価システムの精度に関しては，学習データ数の制約により完全ではない。しかし，人間の評価を機械に学習させ構築した日本語の自動評価システムとしては，恐らく初めての試みであり，その点は評価できる。今後は，海外研究協力者との共同研究の可能性を検討したい。

現在までの達成度 (段落)

平成30年度が最終年度であるため、記入しない。

今後の研究の推進方策

平成30年度が最終年度であるため、記入しない。

備考

・本科研主催　＜"GoodWriting Rater" 完成公開セミナー＞
「日本語ライティング評価の支援ツール "GoodWritingRater"の活用の可能性：「人間」と「機械」による評価の統合的活用」，阿部 新・影山陽子・佐々木藍子・田中真理・坪根由香里（企画）長谷部陽一郎（遠隔サポート），2018年12月2日，東京外国語大学

研究成果

• [雑誌論文] 9か月間の予備教育を受けた中国人日本語学習者の作文―構成・結束性を中心に― (2019)
  • 著者名/発表者名: 坪根由香里
  • 雑誌名: 大阪観光大学紀要 巻: 第18号 ページ: 印刷中
  • 査読あり / オープンアクセス
• [雑誌論文] プレゼンテーション実技科目における「トレイト別フローチャート」を利用したピアフィードバックの試み (2019)
  • 著者名/発表者名: 中北美千子・山田真理・田中真理
  • 雑誌名: 名古屋外国語大学論集 巻: 第5号 ページ: 印刷中
  • オープンアクセス
• [雑誌論文] ヨーロッパ日本語学習者のライティング（エッセイ）分析：総合的評価とマルチプルトレイト評価結果を参照して (2018)
  • 著者名/発表者名: 田中真理・阿部新・影山陽子・佐々木藍子・坪根由香里
  • 雑誌名: ヨーロッパ日本語教育22 第21回ヨーロッパ日本語教育シンポジウム報告・発表論文集 巻: 22 ページ: 75-92
  • オープンアクセス
• [雑誌論文] トレイト別フローチャートを用いたライティング評価：カナダ・アメリカにおける応用 (2018)
  • 著者名/発表者名: 田中真理・坪根由香里・久保田佐由利
  • 雑誌名: CAJLE 2018 Proceedings 巻: ― ページ: 284-293
  • オープンアクセス / 国際共著
• [雑誌論文] ライティング評価におけるフローチャートの開発：評価の一致を目指す場合 (2018)
  • 著者名/発表者名: 田中真理・坪根由香里・佐々木藍子・影山陽子・阿部新
  • 雑誌名: Book of Abstracts, Venezia ICJLE 2018 平和への対話 巻: ― ページ: 289-290
  • オープンアクセス
• [雑誌論文] 欧州日本語学習者によるライティングのレベル別サンプル－ホリスティック評価とマルチプルトレイト評価から見る多様性－ (2018)
  • 著者名/発表者名: 影山陽子・田中真理・佐々木藍子
  • 雑誌名: Book of Abstracts, Venezia ICJLE 2018 平和への対話 巻: ― ページ: 590-591
  • オープンアクセス
• [雑誌論文] 「Good Writingの指導」 (2018)
  • 著者名/発表者名: 阿部新・田中真理
  • 雑誌名: 日本語教育の夏フェス2018 巻: ― ページ: 125-132
• [学会発表] ライティング評価の統一を試みるーフローチャートの活用ー (2019)
  • 著者名/発表者名: 田中真理・坪根由香里
  • 学会等名: 名古屋大学法政国際教育協力研究センター・名古屋大学国際言語センター主催 ワークショップ
  • 招待講演
• [学会発表] Good Writingについて考える―オンライン・ライティング評価教師支援ツール，“GoodWritingRater”の活用― (2019)
  • 著者名/発表者名: 田中真理
  • 学会等名: ベルギー日本語教師会第 106 回勉強会 日本語教育セミナー
  • 国際学会 / 招待講演
• [学会発表] ライティング評価における「構成」を考える―フローチャートを活用して― (2019)
  • 著者名/発表者名: 田中真理・坪根由香里
  • 学会等名: 日本語教育の夏フェス2019，ことばと学びでつながるなかまの会（こまつなの会）
  • 招待講演
• [学会発表] 人間と機械の「協働」によるライティング・フィードバック (2019)
  • 著者名/発表者名: 田中真理・坪根由香里
  • 学会等名: CAJLE 2019 Conference
  • 国際学会
• [学会発表] ライティング評価におけるフローチャートの開発：評価の一致を目指す場合 (2018)
  • 著者名/発表者名: 田中真理・坪根由香里・佐々木藍子・影山陽子・阿部新
  • 学会等名: 2018年日本語教育国際研究大会（ICJLE 2018）
  • 国際学会
• [学会発表] 欧州日本語学習者によるライティングのレベル別サンプル－ホリスティック評価とマルチプルトレイト評価から見る多様性－ (2018)
  • 著者名/発表者名: 影山陽子・佐々木藍子・田中真理
  • 学会等名: 2018年日本語教育国際研究大会（ICJLE 2018）
  • 国際学会
• [学会発表] トレイト別フローチャートを用いたライティング評価：カナダ・アメリカにおける応用 (2018)
  • 著者名/発表者名: 田中真理・坪根由香里・久保田佐由利
  • 学会等名: CAJLE 2018 Conference
  • 国際学会
• [学会発表] Good Writingの指導 (2018)
  • 著者名/発表者名: 阿部新・田中真理
  • 学会等名: 日本語教育の夏フェス2018，ことばと学びでつながるなかまの会（こまつなの会）
  • 招待講演
• [備考] ・GoodWriting-jp 読み手と構成を意識した日本語ライティング
  • URL: https://goodwriting.jp/wp/
• [備考] ・GoodWriting Rater 日本語ライティングの自動評価（上記（1）の自動評価システム）
  • URL: https://goodwriting.jp/rater