| 研究課題/領域番号 |
26284074
|
|---|
| 研究機関 | 名古屋外国語大学 |
|---|
研究代表者 |
田中 真理 名古屋外国語大学, 外国語学部, 教授 (20217079)
|
|---|
| 研究分担者 |
阿部 新 名古屋外国語大学, 外国語学部, 准教授 (00526270)
宇佐美 洋 東京大学, 総合文化研究科, 准教授 (40293245)
坪根 由香里 大阪観光大学, 観光学部, 准教授 (80327733)
鈴木 陽子 (影山陽子) 日本女子体育大学, 体育学部, 准教授 (60366804)
李 在鎬 筑波大学, 人文社会科学研究科(系), 准教授 (20450695)
長谷部 陽一郎 同志社大学, 公私立大学の部局等, 准教授 (90353135)
小町 守 首都大学東京, システムデザイン研究科, 准教授 (60581329)
|
|---|
| 研究期間 (年度) |
2014-04-01 – 2018-03-31
|
| キーワード | ライティング / 自動評価 / パフォーマンス評価 / 総合的評価 / マルチプルトレイト評価 / 第2言語としての日本語 / 欧米言語 |
|---|
| 研究実績の概要 |
本研究は，「人間」によるライティング・パフォーマンス評価と「機械」学習に基づくウェブシステムとを融合させることによって，第2言語としての日本語ライティング評価及びライティング教育の支援ツールを開発することを目指している。
2015年度は，（1）本科研データ収集の本調査と（2）自動評価（機械評価）を構築するための学習データの評価を行った。（1）については，海外の【データ収集班】の協力により，これまでコーパスでも公開されることの少なかった欧米言語（11言語）のモード別ライティング・データ（540本）をオンラインで収集した。（2）については，国内の【データ評価班】が既に収集されているデータ（代表者の前科研データ等，計820本）を総合的（holistic）評価で6レベル判定した。評価に際しては，ワークショップを行い，評価基準と評価方法（フローチャートを使用）を検討し，1本を3名が評価し，レベルを決定した。そして，その判定結果を【システム構築班】に渡した。今後，同様に，マルチプルトレイト評価（6レベル）を行い，その結果を【システム構築班】に渡す予定である。
2016年2月に，自動評価の勉強会と称して，小林雄一郎氏（東洋大学）と石井雄隆氏（早稲田大学）に自動評価についての講演を依頼し，本科研の【システム構築班】と【データ評価班】で，今後の方向性を検討した。
2016年度は，【データ評価班】によって判定された総合的評価とマルチプルトレイト評価（ともに6レベル）の結果を，【システム構築班】が機械に学習させ，自動レベル判別システムを開発する。人間による評価と自動評価システムによるレベル判定の相互検討を行い，判別精度を高めていく予定である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度は，計画どおり，（1）本調査を行うと同時に，（2）自動評価のための学習データの評価を行った。（1）に関しては，海外調査協力国が予定（7カ国）より大幅に増え，本年度末には11カ国より計約540のデータが得られた。（2）に関しては，【データ評価班】が自動評価（機械評価）のための学習デーの評価を行った。具体的には，これまでに既に収集されている820のデータ（代表者の前科研データ他）を総合的（holistic）評価し（6レベル），年度末にその結果を【システム構築班】に渡すことができた。2016年度には，これらのデータから【システム構築班】が6レベルのholisticの自動評価システムを開発する予定である。
上記のように，（1）【データ評価班】と海外の【データ収集班】は密に連絡をとりながら協力してデータを収集した。（2）学習データの評価に際しては，【データ評価班】が評価基準，評価方法の検討を重ね，評価者内信頼性の向上に努めた。さらに，1データを3名が評価し，評価者間信頼性の確保にも努めた。メンバー全員が，自動評価のもとになる「人間」の評価において信頼性の高い評価を目指して，評価体制を固めてきた。
|
| 今後の研究の推進方策 |
2016年度は，以下の（1）～（3）を行う予定である。
（1）5月末に海外からのデータ収集を締め切り（オンラインの投稿サイトを閉鎖），集まったデータを閲覧できるシステムを構築し（一部外部委託），海外の【データ収集班】にもデータを公開し，研究を進めてもらう予定である。
（2）【データ評価班】は，2015年度に総合的評価を行ったデータの一部に対し，マルチプルトレイト評価を行い，結果を【システム構築班】に渡す。
（3）【システム構築班】は，その結果を機械に学習させ，自動評価システムを開発する。2016年度は，人間によるパフォーマンス評価と機械による自動評価の相互検討により，自動評価システムの精度の向上に取り組む。
|
| 次年度使用額が生じた理由 |
以下（使用計画）の最終年度の計画のために，2014年度～2016年度の基金分の助成金は翌年度に残していきたいと考えている。
|
| 次年度使用額の使用計画 |
最終年度には，今回収集したデータからレベル別サンプルをウェブで公開するとともに，自動評価システムも広く公開する予定なので，その費用が必要である。さらに，2017年度には，データ収集国でライティング評価ワークショップを開催し，自動評価システムを紹介するか，あるいは国内に海外協力者を招へいし，公開シンポジウムを開催することを計画している。
|
