• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

日本語ライティング評価の支援ツール開発:「人間」と「機械」による評価の統合的活用

研究課題

研究課題/領域番号 26284074
研究種目

基盤研究(B)

配分区分一部基金
応募区分一般
研究分野 日本語教育
研究機関名古屋外国語大学

研究代表者

田中 真理  名古屋外国語大学, 外国語学部, 名誉教授 (20217079)

研究分担者 阿部 新  東京外国語大学, 大学院国際日本学研究院, 准教授 (00526270)
坪根 由香里  大阪観光大学, 観光学部, 教授 (80327733)
佐々木 藍子  大学共同利用機関法人人間文化研究機構国立国語研究所, 大学共同利用機関等の部局等, 研究員 (70622075)
鈴木 陽子 (影山陽子 / 鈴木 陽子(影山陽子))  日本女子体育大学, 体育学部, 准教授 (60366804)
小町 守  首都大学東京, システムデザイン研究科, 准教授 (60581329)
長谷部 陽一郎  同志社大学, グローバル・コミュニケーション学部, 准教授 (90353135)
李 在鎬  早稲田大学, 国際学術院(日本語教育研究科), 教授 (20450695)
宇佐美 洋  東京大学, 総合文化研究科, 准教授 (40293245)
研究期間 (年度) 2014-04-01 – 2019-03-31
研究課題ステータス 交付 (2017年度)
配分額 *注記
15,990千円 (直接経費: 12,300千円、間接経費: 3,690千円)
2017年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2016年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2015年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2014年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
キーワードライティング評価 / 自動評価 / パフォーマンス評価 / マルチプルトレイト評価 / 総合的評価 / 第2言語としての日本語 / ヨーロッパ / 機械評価 / ライティング / 第2言語としての日本語 / エッセイ / 欧米言語 / ナラティブ / 論証 / 比較・対照
研究実績の概要

本研究は,「人間」によるライティング・パフォーマンス評価と「機械」学習にもとづくウェブシステムを融合させることによって,第2言語としての日本語ライティング評価及びライティング教育の支援ツールを開発することを目的とする。
2017年度は,(1)新しく開発したライティング評価基準のワークショップと,その評価基準を使って評価したヨーロッパの学習者のライティング分析についてのパネル発表,及び(2)学習者のライティングの自動評価システム(最終version)の構築を行った。
データ評価班は,6月の第42回アカデミック・ジャパニーズ・グループ研究会でライティング評価ワークショップを行い,本科研で開発したフローチャートを用いた評価方法を紹介した(「スパッと決まる(!?) ライティング評価を目指して:フローチャートの活用」)。また,9月のリスボンでのThe 15th EAJS International Conference/第21回ヨーロッパ日本語教育シンポジウムにおいて「ヨーロッパ日本語学習者のライティング(エッセイ)分析:総合的評価とマルチプルトレイト評価結果を参照して」と題するパネル発表を行った。その他,田中がアメリカのワシントン大学に招かれ,ライティング評価ワークショップ(What is Good Writing: Thinking through Assessment Practice)を行った。
システム構築班は,データ評価班(人間)によってレベル付け(総合的評価とマルチプルトレイト評価)されたデータ(学習者のライティング)のテキスト特徴量等によって,自動評価システムを構築した。その結果を新しいデータに当てはめ,現在検証中である。自動評価システムは,レベル判別,テキスト情報以外に,データ評価班が作成したメタ言語リストをもとに作られた「メタ言語ハイライト表示」機能も備えている。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

以下の1~3を勘案して,「おおむね順調に進展している」と評価した。
1. 自動評価システムは,レベル評価(総合的評価とマルチプルトレイト評価)に関しては現在検証中であるが,テキスト情報,メタ言語ハイライト表示機能は既に完成し,有効に使えることが期待される。例えば,テキスト情報は,単に語数等を表示させるのではなく,第1段落や最終段落が全体に占める割合等を示し,「構成」の指導に役立つような工夫がされている。また,メタ言語ハイライト表示については,評価班がリストを作成し何度も修正を重ねたので,ほぼ正確にハイライトされる。このハイライト表示は,教師がライティング指導を行うに当たって,日本語としての接続表現のチェックのみならず,「構成」を指導する際に重要な機能となる。このように,これまでの言語能力中心の評価からwriting expertise(文章能力)を向上させることに力を注いだシステムとなっている。
2. フローチャートを用いた評価システムは,自動評価構築のための大量のデータを評価班が評価した際に,評価の一致度を上げ,効率的に評価できるように工夫した結果できたもので,いわば本科研の副産物である。しかしながら,評価が一致しやすく,評価時間を短縮できる,評価者自身の評価者内信頼性を上げるというメリットを確認できた。その結果,この評価法を紹介するワークショップを行う等,日本語ライティングの評価基準に新しい試みを行った点で評価できる。
3. モード別のライティング・データに関しては,「比較・論証」のライティングは,レベル別サンプルも選び,分析も行ったが,他のモード(「描写」「ナラティブ」)に関しては分析ができておらず,今年度の課題となっている。

今後の研究の推進方策

2018年度は,以下の1~4を行う予定である。
1. 自動評価システムを完成させ,公開する。
2. 自動評価のサイトと科研のGood Writingのサイトをリンクさせ,日本語ライティング教育・教師支援ツールを完成させる。自動評価のサイトでは総合的評価レベルとマルチプルトレイト評価レベル,テキスト情報,メタ言語ハイライト機能を,Good Writingのサイトではプロンプト・サンプル,レベル別ライティング・サンプル,自動評価のサイトの活用法を表示する。
3. モード別ライティングに関しては,「比較・論証」モードのライティングはGood Writingのサイトにレベル別サンプルを表示する(上記2)。「描写」「ナラティブ」のライティングについても,分析を進める。
4. 成果発表に関しては,8月に日本語教育国際大会(ヴェネツィア)で,口頭発表「ライティング評価におけるフローチャートの開発:評価の一致を目指す場合」及びポスター発表「欧州日本語学習者によるライティングのレベル別サンプル-ホリスティック評価とマルチプルトレイト評価から見える多様性-」を行う。大会終了後,大会に参加している海外研究協力者を対象に報告会を行う。欧米言語話者のモード別ライティング・データの閲覧システム,自動評価の内部公開を行い,海外協力者との共同研究の可能性を検討する。8月下旬のCAJLE(カナダ日本語教育振興会)で,「トレイト別フローチャートを用いたライティング評価:カナダ・アメリカにおける応用」と題するラウンドテーブルを行う。本科研で開発した評価システムを,カナダやアメリカのような非漢字圏でのライティング教育や継承語教育で使用できないか,検討する。2019年3月の言語処理学会で自動評価のデモを行う(予定)。また,時期未定であるが,最終年度なので,自動評価の公開を含めた本科研の報告会を行うことを検討している。

次年度使用額の使用計画

30年度が最終年度であるため、記入しない。

報告書

(4件)
  • 2017 実績報告書
  • 2016 実績報告書
  • 2015 実績報告書
  • 2014 実績報告書

研究成果

(43件)

すべて 2018 2017 2016 2015 2014 その他

すべて 雑誌論文 学会発表 図書 備考

  • [雑誌論文] 日本語学習者のエッセイに見られる評価群別の言語特徴 -I-JASにおけるヨーロッパ学習者のデータを対象に-2017

    • 著者名/発表者名
      佐々木藍子・阿部新
    • 雑誌名

      国立国語研究所 第三回学習者コーパス・ワークショップ-学習者コーパスから第二言語習得を考える-予稿集

      巻: 3 ページ: 32-37

    • 関連する報告書
      2017 実績報告書
  • [雑誌論文] 日本語学習者コーパスにおける対話―ロールプレイ,メール,エッセイの分析を通して―2016

    • 著者名/発表者名
      田中真理・迫田久美子・野田尚史
    • 雑誌名

      ヨーロッパ日本語教育20 2015ヨーロッパ日本語教育シンポジウム報告・発表論文集

      巻: 20 ページ: 102-119

    • 関連する報告書
      2016 実績報告書
    • オープンアクセスとしている / 国際共著/国際学会である / 謝辞記載あり
  • [雑誌論文] 日本語アカデミック・ライティングに規範は必要ないか:「構成」面の分析に基づく提案2016

    • 著者名/発表者名
      田中真理・久保田佐由利
    • 雑誌名

      CAJLE 2016 Conference Proceedings

      巻: ー ページ: 263-274

    • 関連する報告書
      2016 実績報告書
    • オープンアクセスとしている / 国際共著/国際学会である / 謝辞記載あり
  • [雑誌論文] Good writing とは何か-評価を通して考える-2016

    • 著者名/発表者名
      田中真理・阿部新
    • 雑誌名

      2016 年度 第7回 日本語教育学会研究集会 予稿集 <東北地区>

      巻: ー ページ: 51-62

    • 関連する報告書
      2016 実績報告書
    • 謝辞記載あり
  • [雑誌論文] パフォーマンス評価はなぜばらつくのか?―アカデミック・ライティング評価における評価者の「型」2016

    • 著者名/発表者名
      田中真理
    • 雑誌名

      宇佐美洋編『「評価」を持って街に出よう―「教えたこと・学んだことの評価」という発想を超えて』第2章 くろしお出版

      巻: 該当せず ページ: 34-53

    • 関連する報告書
      2015 実績報告書
    • 謝辞記載あり
  • [雑誌論文] グループによるライティング評価における個人評価点の統一パターン2016

    • 著者名/発表者名
      阿部新・田中真理
    • 雑誌名

      宇佐美洋編『「評価」を持って街に出よう ―「教えたこと・学んだことの評価」という発想を超えて』第3章 くろしお出版

      巻: 該当せず ページ: 54-69

    • 関連する報告書
      2015 実績報告書
    • 謝辞記載あり
  • [雑誌論文] 日本語教育の立場から L1, L2双方向から考える日本語アカデミック・ライティング:「構成」面について2016

    • 著者名/発表者名
      田中真理
    • 雑誌名

      Kyoko Oi, Beverley Horne, Masumi Narita, Yuko Itatsu, Mariko Abe, Yuichiro Kobayashi, Mari Tanaka (著)(2016)ESL Writing in East Asia: Practice, Perception and Perspectives, 4.1

      巻: 該当せず ページ: 134-153

    • 関連する報告書
      2015 実績報告書
    • 謝辞記載あり
  • [雑誌論文] 日本語学習者の作文における誤用タイプの階層的アノテーションに基づく機械学習による自動分類2016

    • 著者名/発表者名
      大山浩美・小町守・松本裕治
    • 雑誌名

      自然言語処理

      巻: 23 ページ: 195-225

    • NAID
      130005157454
    • 関連する報告書
      2015 実績報告書
    • 査読あり
  • [雑誌論文] 第二言語としての日本語小論文評価における「いい内容」「いい構成」を探る―評価観の共通点・相違点から―2015

    • 著者名/発表者名
      坪根由香里・田中真理
    • 雑誌名

      社会言語科学

      巻: 18 (1) ページ: 111-127

    • NAID
      110010033088
    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセスとしている / 謝辞記載あり
  • [雑誌論文] アカデミック・ライティングの構成について:L1, L2双方向からの考察2014

    • 著者名/発表者名
      田中真理・久保田佐由利
    • 雑誌名

      CAJLE 2014 Proceedings(カナダ日本語教育振興会 2014年次大会プロシーディングス)

      巻: - ページ: 163-173

    • 関連する報告書
      2014 実績報告書
    • オープンアクセスとしている / 謝辞記載あり
  • [雑誌論文] 「外国人にわかりやすい文書」を書くための配慮―「「やさしい日本語」の作成ルール」の効果とその活用―2014

    • 著者名/発表者名
      宇佐美洋
    • 雑誌名

      CAJLE 2014 Proceedings(カナダ日本語教育振興会 2014年次大会プロシーディングス)

      巻: - ページ: 174-183

    • 関連する報告書
      2014 実績報告書
    • オープンアクセスとしている
  • [雑誌論文] 日本語作文の熟達度を評価する指標の抽出2014

    • 著者名/発表者名
      李在鎬・長谷部陽一郎・嵐洋子
    • 雑誌名

      第25回第二言語習得研究会(JASLA)全国大会予稿集

      巻: - ページ: 113-118

    • 関連する報告書
      2014 実績報告書
  • [学会発表] What is Good Writing: Thinking through Assessment Practice2018

    • 著者名/発表者名
      Mari Tanaka
    • 学会等名
      Japanese Pedagogy Workshop, Japan Studies & Dept. Asian Literature, University of Washington
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] 社会言語科学研究会 第16回(2016年度)徳川宗賢賞 優秀賞 受賞記念講演「私たちが研究してきたこと―その歴史と困難―」(「第二言語としての日本語小論文評価における「いい内容」「いい構成」を探る―評価観の共通点・相違点から―」)2017

    • 著者名/発表者名
      坪根由香里・田中真理
    • 学会等名
      社会言語科学会
    • 発表場所
      杏林大学,東京
    • 年月日
      2017-03-18
    • 関連する報告書
      2016 実績報告書
    • 招待講演
  • [学会発表] パフォーマンス評価再考:Good Writing評価を通して(ワークショップ)2017

    • 著者名/発表者名
      田中真理・阿部新
    • 学会等名
      日本語OPI研究会第2回勉強会
    • 発表場所
      新宿,東京
    • 年月日
      2017-01-08
    • 関連する報告書
      2016 実績報告書
    • 招待講演
  • [学会発表] ヨーロッパにおける日本語学習者の日本語作文のテキストマイニング―その言語的特徴に関するパイロットスタディー―2017

    • 著者名/発表者名
      阿部 新
    • 学会等名
      東京外国語大学語学研究所定例研究会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] ヨーロッパ日本語学習者のライティング(エッセイ)分析:総合的評価とマルチプルトレイト評価結果を参照して2017

    • 著者名/発表者名
      田中真理・阿部新・影山陽子・佐々木藍子・坪根由香里
    • 学会等名
      The 15th EAJS International Conference/第21回ヨーロッパ日本語教育シンポジウム
    • 関連する報告書
      2017 実績報告書
    • 国際共著/国際学会である
  • [学会発表] 日本語学習者のエッセイに見られる評価群別の言語特徴 -I-JASにおけるヨーロッパ学習者のデータを対象に-2017

    • 著者名/発表者名
      佐々木藍子・阿部新
    • 学会等名
      国立国語研究所 第三回学習者コーパス・ワークショップ -学習者コーパスから第二言語習得を考える―
    • 関連する報告書
      2017 実績報告書
  • [学会発表] スパッと決まる(!?)ライティング評価を目指して:フローチャートの活用2017

    • 著者名/発表者名
      田中真理・阿部 新・影山陽子・坪根由香里
    • 学会等名
      第42回アカデミック・ジャパニーズ・グループ研究会(ワークショップ)
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] Good writing とは何か-評価を通して考える-(ワークショップ)2016

    • 著者名/発表者名
      田中真理・阿部新
    • 学会等名
      2016 年度 第7回 日本語教育学会研究集会
    • 発表場所
      東北大学川内南キャンパス,仙台
    • 年月日
      2016-11-26
    • 関連する報告書
      2016 実績報告書
    • 招待講演
  • [学会発表] 日本語アカデミック・ライティングに規範は必要ないか:「構成」面の分析に基づく提案2016

    • 著者名/発表者名
      田中真理・久保田佐由利
    • 学会等名
      CAJLE 2016 Conference
    • 発表場所
      Niagara Falls, Ontario, Canada
    • 年月日
      2016-08-17
    • 関連する報告書
      2016 実績報告書
    • 国際共著/国際学会である
  • [学会発表] 集団の対照から個人の対照へ―個人が持つ価値観の多様性に着目する意味―2016

    • 著者名/発表者名
      宇佐美洋
    • 学会等名
      第9回日本語教育シンポジウム
    • 発表場所
      モンゴル・日本人材開発センター,ウランバートル,モンゴル国
    • 年月日
      2016-03-11
    • 関連する報告書
      2015 実績報告書
    • 招待講演
  • [学会発表] 均衡コーパスを用いた日本語語彙平易化データセットの構築2016

    • 著者名/発表者名
      小平知範・梶原智之・小町守
    • 学会等名
      言語処理学会第22回年次大会
    • 発表場所
      東北大学
    • 年月日
      2016-03-08
    • 関連する報告書
      2015 実績報告書
  • [学会発表] 再考してみよう:パフォーマンス評価としてのライティング評価―どうやって統一する?・私の評価のスタイルは?―2016

    • 著者名/発表者名
      阿部新・田中真理
    • 学会等名
      「評価」を持って街に出よう 出版記念シンポジウム ワークショップ
    • 発表場所
      東京大学駒場キャンパス
    • 年月日
      2016-01-10
    • 関連する報告書
      2015 実績報告書
  • [学会発表] Being a Good Writer in Japanese: Analysis of Japanese Academic Writing Organization from L1 and L22015

    • 著者名/発表者名
      Tanaka M. & Kubota S.
    • 学会等名
      the 14th Symposium on Second Language Writing
    • 発表場所
      City Campus, Auckland, New Zealand
    • 年月日
      2015-11-21
    • 関連する報告書
      2015 実績報告書
    • 国際共著/国際学会である
  • [学会発表] 日本語学習者コーパスにおける対話―ロールプレイ、メール、エッセイの分析をとおして―2015

    • 著者名/発表者名
      田中真理・迫田久美子・野田尚史
    • 学会等名
      第19回ヨーロッパ日本語教育シンポジウム(パネルディスカッション)
    • 発表場所
      ボルドーモンテーニュ大学,ボルドー,フランス
    • 年月日
      2015-08-28
    • 関連する報告書
      2015 実績報告書
    • 国際共著/国際学会である
  • [学会発表] 生きることの問い直しとしての「評価」―自己と他者を知るための手がかりとして―2015

    • 著者名/発表者名
      宇佐美洋
    • 学会等名
      日本言語文化研究会第11回コロキアム
    • 発表場所
      政策研究大学院大学,東京
    • 年月日
      2015-07-08
    • 関連する報告書
      2015 実績報告書
    • 招待講演
  • [学会発表] Good writing教育について考える―プロンプトと評価基準―2015

    • 著者名/発表者名
      田中真理
    • 学会等名
      ハノイ日本法センター・セミナー(名古屋大学大学院法学研究科/名古屋大学日本法教育研究センター)
    • 発表場所
      ハノイ,ベトナム
    • 年月日
      2015-03-15
    • 関連する報告書
      2014 実績報告書
    • 招待講演
  • [学会発表] 日本語作文の熟達度を評価する指標の抽出2014

    • 著者名/発表者名
      李在鎬・長谷部陽一郎・嵐洋子
    • 学会等名
      第25回第二言語習得研究会(JASLA)全国大会
    • 発表場所
      筑波大学,つくば市
    • 年月日
      2014-12-14
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Organizational Problems of Japanese Academic Writing: How can we help?2014

    • 著者名/発表者名
      Sayuri Kubota & Mari Tanaka
    • 学会等名
      The 2014 AATJ Annual Conference in conjunction with the ACTFL Annual Convention
    • 発表場所
      San Antonio, USA.
    • 年月日
      2014-11-21
    • 関連する報告書
      2014 実績報告書
  • [学会発表] アカデミック・ライティングの構成について:L1, L2双方向からの考察2014

    • 著者名/発表者名
      田中真理・久保田佐由利
    • 学会等名
      CAJLE 2014 (カナダ日本語教育振興会 2014年度年次大会)
    • 発表場所
      モントリオール,カナダ
    • 年月日
      2014-08-21
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 「外国人にわかりやすい文書」を書くための配慮―「「やさしい日本語」の作成ルール」の効果とその活用―2014

    • 著者名/発表者名
      宇佐美洋
    • 学会等名
      CAJLE 2014 (カナダ日本語教育振興会 2014年度年次大会)
    • 発表場所
      モントリオール,カナダ
    • 年月日
      2014-08-20
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 「評価」について考える2014

    • 著者名/発表者名
      宇佐美洋
    • 学会等名
      2014年度 日本語教育研修(夏季集中研修)「教える・学ぶ・考える」 日本語教育学会
    • 発表場所
      東京大学本郷キャンパス,東京
    • 年月日
      2014-08-09
    • 関連する報告書
      2014 実績報告書
    • 招待講演
  • [学会発表] ライティング評価ワークショップにおける評価結果のグループ点統一のプロセス2014

    • 著者名/発表者名
      阿部新・田中真理
    • 学会等名
      コミュニケーションのための言語と教育の研究(評価班)研究発表会
    • 発表場所
      国立国語研究所,東京
    • 年月日
      2014-08-07
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 日本語の能力は 1 本の物差しで測れるか? ―価値観が多様化する中で,「評価」について考える―2014

    • 著者名/発表者名
      宇佐美洋
    • 学会等名
      平成26年度日本語学校教育研究大会 一般財団法人日本語教育振興協会
    • 発表場所
      国立オリンピック記念青少年総合センター,東京
    • 年月日
      2014-08-05
    • 関連する報告書
      2014 実績報告書
    • 招待講演
  • [図書] 「評価」を持って街に出よう―「教えたこと・学んだことの評価」という発想を超えて2016

    • 著者名/発表者名
      宇佐美洋(編)
    • 総ページ数
      359
    • 出版者
      くろしお出版
    • 関連する報告書
      2015 実績報告書
  • [図書] ESL Writing in East Asia: Practice, Perception and Perspectives2016

    • 著者名/発表者名
      Kyoko Oi, Beverley Horne, Masumi Narita, Yuko Itatsu, Mariko Abe, Yuichiro Kobayashi, Mari Tanaka
    • 出版者
      Shobi Printing Co., Ltd.
    • 関連する報告書
      2015 実績報告書
  • [図書] 日本語教育のための言語テストガイドブック2015

    • 著者名/発表者名
      李在鎬(編著)
    • 総ページ数
      248
    • 出版者
      くろしお出版
    • 関連する報告書
      2014 実績報告書
  • [図書] Good Writingへのパスポート―読み手と構成を意識した日本語ライティング2014

    • 著者名/発表者名
      田中真理・阿部新
    • 総ページ数
      192
    • 出版者
      くろしお出版
    • 関連する報告書
      2014 実績報告書
  • [備考] GoodWriting-jp 読み手と構成を意識した日本語ライティング

    • URL
      https://goodwriting.jp/wp/
    • 関連する報告書
      2017 実績報告書
  • [備考] Good Writing-jp 読み手と構成を意識した日本語ライティング

    • URL
      http://goodwriting.jp/wp/
    • 関連する報告書
      2016 実績報告書 2015 実績報告書
  • [備考] NUFS News & Topics  2016年度の学会表彰 諫早勇一教授、田中真理教授が受賞

    • URL
      http://www.nufs.ac.jp/news-topics/20170403-01/index.html
    • 関連する報告書
      2016 実績報告書
  • [備考] Good Writing-jp  読み手と構成を意識した日本語ライティング

    • URL
      http://goodwriting.jp/wp/
    • 関連する報告書
      2014 実績報告書

URL: 

公開日: 2014-04-04   更新日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi