2016 Fiscal Year Annual Research Report
Development of a New Toolkit to Aid in Assessment of Writing in Japanese: An Integrated Approach Utilizing Human and Machine Evaluation
| Project/Area Number |
26284074
|
|---|
| Research Institution | Nagoya University of Foreign Studies |
|---|
Principal Investigator |
田中 真理 名古屋外国語大学, 外国語学部, 教授 (20217079)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
阿部 新 東京外国語大学, その他部局等, 准教授 (00526270)
長谷部 陽一郎 同志社大学, 公私立大学の部局等, 准教授 (90353135)
小町 守 首都大学東京, システムデザイン研究科, 准教授 (60581329)
坪根 由香里 大阪観光大学, 観光学部, 教授 (80327733)
鈴木 陽子 (影山陽子) 日本女子体育大学, 体育学部, 准教授 (60366804)
宇佐美 洋 東京大学, 総合文化研究科, 准教授 (40293245)
李 在鎬 早稲田大学, 日本語教育研究科, 教授 (20450695)
佐々木 藍子 大学共同利用機関法人人間文化研究機構国立国語研究所, 大学共同利用機関等の部局等, 研究員 (70622075)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | ライティング評価 / 自動評価 / パフォーマンス評価 / 機械評価 / マルチプルトレイト評価 / 総合的評価 / 第２言語としての日本語 / ヨーロッパ |
|---|
| Outline of Annual Research Achievements |
本研究は，「人間」によるライティング・パフォーマンス評価と「機械」学習に基づくウェブシステムとを融合させることによって，第2言語としての日本語ライティング評価及びライティング教育の支援ツールを開発することを目指している。
2016年度は，（1）本科研で収集した欧米言語話者のモード別ライティング・データの「閲覧システム」の作成と（2）自動レベル判別システム（機械評価）の構築（version 1, version 2）を行った。
（1）については，【データ評価班】が，収集データ（「比較対照・論証」「描写」「ナラティブ」のモードのプロンプト5種から選んで書かれたライティング：計577）を整理し，国籍，母語，プロンプト，SPOTのスコア，JLPTのレベル，文字数等で検索できる「閲覧システム」を完成させた（一部外部委託）。既に内部公開し，海外の【データ収集班】にも研究に使ってもらえるようにした。さらに，閲覧システムに「メタ言語」が種類別にハイライトされる機能をつけた試用版も作成した。この機能には改善の余地があるものの，今後ライティング教育・評価に大きく貢献すると期待できる。
（2）については，【システム構築班】が，まず，【データ評価班（人間）】によって総合的評価でレベル付けされたデータ（学習者のライティング）のテキスト特徴量等によって，自動レベル判別システムを構築した。その後，判別システムの回帰式を本科研で収集したデータに当てはめ，有効性を検証した。現在，判別精度を高めるべく，データを補足する等して，修正・調整を行っている。今後，総合的評価の最終versionが完成次第，マルチプルトレイト評価の自動評価についても検証を行う予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，（1）本科研で収集した欧米言語話者のモード別ライティング・データの「閲覧システム」の作成と（2）ライティングの自動レベル判別システム（機械評価）の構築を行った。
（1）の「閲覧システム」に関しては，収集したデータを【データ評価班】が整理し，修正，検討を重ねて完成した（外部委託）。既に内部公開しており，海外の【データ収集班】には自分の機関の学習者のデータのみでなく，本プロジェクトに参加した学習者全員のデータが閲覧できるようになっている。また，閲覧システムに付け加えた「メタ言語」を種類別にハイライトする機能は，まだ改善の余地はあるが，ライティング教育・評価に有効だと期待でき，（1）については予想以上に進んだと言える。
（2）「自動レベル判別システム（機械評価）」については，システムを構築するためのデータが大量に必要である。本科研のデータ収集を待っていては間に合わないので，【データ評価班】は，代表者の前科研データや他のコーパスをデータとして総合的評価してきた。しかし，【システム構築班】がその結果をもって自動評価判別を試みたところ，予想どおり上位と下位のレベルの数が足りず，そのレベルの精度が低かった。判別精度を上げるためには，それらのレベルの追加データが必要であり，上位のレベルは他のコーパスから補充し，下位のレベルは国内の留学生からデータをとることになった。また，マルチプルトレイト評価は，総合的評価が完成してから行うため，今年度検証はできなかった。しかしながら，今年度は，【システム構築班】と【データ評価班】が協力し，自動評価の判別精度を上げるべく検討を行うことができた。今後の言語教育（日本語教育，英語教育）や入試のパフォーマンステストには，人間による評価だけでは間に合わない。機械評価の必要性が認識され，本研究の意義が再確認できた。
|
| Strategy for Future Research Activity |
2017年度以降，以下の（1）～（4）を行う予定である。
（1）【システム構築班】は，総合的評価の自動判別システムを完成させる。再度本科研の収集データに回帰式を当てはめ，【データ評価班】による人間の評価と照合する。同様に，マルチプルトレイト評価の自動判別システムも完成させ，検証する。
（2）【データ評価班】は，本科研で収集した「モード別ライティング・データ」のうち，「比較対照・論証」モードに関しては，評価基準，評価フローチャートを公開し，レベル別サンプルを選ぶ。その他の「描写」「ナラティブ」モードについても，サンプルを公開する準備を進める。
（3）【システム構築班】と【データ評価班】は，ライティング自動評価システムの公開シンポジウムを開催する。【データ評価班】は，本科研において開発した「評価フローチャート」を使用したパフォーマンス評価のワークショップを行う。
（4）本科研の「閲覧システム」を活用し，海外の【データ収集班】とも協力して，ライティング研究を行い，発表していく。
|
| Causes of Carryover |
以下の「使用計画」に述べる最終年度の計画のために，基金分の助成金はできる限り翌年度に残してきた。
|
| Expenditure Plan for Carryover Budget |
最終年度には，本科研で収集したモード別ライティング・サンプルをウェブで公開するとともに，自動評価システムを広く公開する予定なので，その費用が必要である。さらに，2017年度には，ライティング評価ワークショップを開催し，自動評価システムを紹介する公開シンポジウムを開催することを計画している。
|
| Remarks |
坪根由香里・田中真理（2015）「第二言語としての日本語小論文評価における「いい内容」「いい構成」を探る―評価観の共通点・相違点から―」『社会言語科学』第18巻第1号が，2016年度 社会言語科学会 第16回 徳川宗賢賞 優秀賞を受賞
|
