2014 Fiscal Year Annual Research Report
日本語ライティング評価の支援ツール開発：「人間」と「機械」による評価の統合的活用
| Project/Area Number |
26284074
|
|---|
| Research Institution | Nagoya University of Foreign Studies |
|---|
Principal Investigator |
田中 真理 名古屋外国語大学, 外国語学部, 教授 (20217079)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
阿部 新 名古屋外国語大学, 外国語学部, 准教授 (00526270)
宇佐美 洋 大学共同利用機関法人人間文化研究機構国立国語研究所, 大学共同利用機関等の部局等, 准教授 (40293245)
坪根 由香里 大阪観光大学, 観光学部, 准教授 (80327733)
鈴木 陽子(影山陽子) 日本女子体育大学, 体育学部, 准教授 (60366804)
李 在鎬 筑波大学, 人文社会科学研究科(系), 准教授 (20450695)
長谷部 陽一郎 同志社大学, 公私立大学の部局等, 准教授 (90353135)
小町 守 首都大学東京, システムデザイン研究科, 准教授 (60581329)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | ライティング / 自動評価 / パフォーマンス評価 / 第2言語としての日本語 / 欧米言語 / ナラティブ / 論証 / 比較・対照 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，人間によるライティング・パフォーマンス評価と機械学習に基づくウェブシステムとを融合させることによって，第2言語としての日本語ライティングの自動評価システムとライティング教育の支援ツールを開発することである。方法としては，海外７カ国（海外の研究協力者：データ収集班）から，これまでコーパスでも公開されることの少なかった欧米言語のモード別・ライティングをオンラインで収集する。それを国内の評価班（パフォーマンス評価）とシステム構築班（機械評価）が評価し，相互検討することによって，自動レベル判別の精度を上げていく。
2014年度は，（1）全体会議（7月），海外会議（8月），国内会議（9月，2015年2月，3月）を行い，調査計画（ライティング調査のプロンプト，オンラインでのライティング投稿方法等）について検討を重ねた。（2）本科研のサイト（Good Writing-jp）を構築し，そこにライティングの投稿サイトを組み込んだ。（3）その投稿サイトを使って，フランス，アメリカ，日本の学習者を対象に予備調査を実施した（12月～2015年2月）。（4）調査は，①同意書，②フェイスシート，③SPOT（日本語能力測定），④ライティング執筆（7つのプロンプトから2つ以上選択），⑤事後アンケート，から成る。サイト内の調査文は全て英語に翻訳し，④のプロンプトは，一部の言語は母語に訳した。（5）予備調査後，サイトの改善，プロンプトの選定を行った。（6）予備調査で収集されたデータのレベル判定（総合的評価）と評価項目の検討を行った。
以上の予備調査を踏まえ，2015年度は，7カ国で本調査を行い，データを収集する。評価班は，評価ワークショップ等によって信頼性の高い評価を目指すとともに，自動評価のためには，本科研のデータだけでは足りないので，他のデータ（代表者の前科研データ等）も評価の対象としていく。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
計画どおり，初年度に予備調査を行い，予定どおりのデータが得られ，今後の見通しがついたから。特に，投稿サイトは，科研のメンバーが自ら作成し，海外の協力者からもフィードバックを得て，改善を重ね，満足のいくものが出来上がった。また，プロンプトの作成に当たっては，海外のメンバーの意見も反映できたこと，同意書，調査文，アンケート等の英訳も自ら行い，プロンプトの翻訳（フランス語，スペイン語，ハンガリー語）は，海外のメンバーが行った等，全体的に協力体制がしっかりできたことは，評価したい。
|
| Strategy for Future Research Activity |
「9. 研究実績の概要」に述べたように，2015年度には海外7カ国で本調査を実施する。オンラインでデータを収集するが，完全に自動ではないので，どのようにデータを整理し，管理していくかは重要な点である。その一方で，評価班は，自動評価の精度を上げるために，本科研とは別のデータも評価していかなければならないので，今年度はかなりのワークロードになる。さらに，パフォーマンス評価と機械評価をどのように融合させていくかも，2015年度から具体的に取り組んでいかなればならない大きな課題である。海外の協力者ともデータを共有し，ライティングに関してのミーティングを持ちたいが，時期や旅費などの問題がある。
|
| Causes of Carryover |
以下の最終年度の計画のために，2014年度～2016年度の基金分の助成金は翌年度に残していきたいと考えている。
|
| Expenditure Plan for Carryover Budget |
最終年度には，今回収集したデータからレベル別サンプルをウェブで公開するとともに，自動評価システムも広く公開する予定なので，その費用が必要である。また，「12. 今後の推進方策」でも触れたように，海外の協力者と意見を交換する機会を持ちたいと考えている。2017年度には，データ収集国でライティング評価ワークショップを開催し，自動評価システムを紹介するか，あるいは国内に海外の協力者を招へいし，公開シンポジウムを開催することを計画している。
|
