2011 Fiscal Year Research-status Report
短答式記述テストにおける実用的な自動採点システムの開発
| Project/Area Number |
23650558
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長塚 豪己 首都大学東京, システムデザイン研究科, 助教 (30384738)
|
|---|
| Project Period (FY) |
2011-04-28 – 2014-03-31
|
| Keywords | 自然言語処理 / 情報システム / 統計数学 / 人工知能 |
|---|
| Research Abstract |
１）アルゴリズムの検討 我々が取るアプローチは、解答した答えを事前に用意した正解と比較するものである。これは自然言語処理の分野で研究が進んでいる含意関係認識によって達成される。含意関係認識とはテキストAの内容がテキストBの内容を含んでいるかどうかを、膨大な言語集体（コーパス）と高度な構文解析（や意味解析）および情報検索技術を用いて、判断・認識する技術である。これを用いることにより、その含意の程度に応じて、短答式記述問題の自動採点が可能となる。このアルゴリズムについて、国立情報学研究所の新井紀子先生との研究グループと協調をとりながら、研究を進めることを開始した。２）マシン環境の整備LAN上でWebブラウザによってシステムが実行できるように、Webサーバーを設置した。３）Rによる言語処理ライブラリの一部作成Rでは自然言語を取り扱うためのパッケージLanguageRの他、日本語処理においても形態素解析RMeCab (Rで動作するMeCab)や構文解析RCaboCha (Rで動作するCaboCha)を利用することができる。またNグラムなどの計量言語学で用いられる各種統計量を計算するためのパッケージ群も同時に提供され、現在も精力的にバージョンアップが重ねられている。本システムでは、欠測値を補完する方法として集団学習の方法の一つであるRandom Forestsに着目し、教師データのみならず教師なしデータに対しても適用できるよう拡張する方法を考案した。またそのRプログラムを作成した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
概ね当初の予定通りに研究が進んでいる。研究代表者が２編の審査論文を通し掲載した。また共同研究者の長塚が５編の審査論文（うち３件はページが確定）を通し、掲載予定にある。
|
| Strategy for Future Research Activity |
１）システムの試作 平成２３年度に得られた結果を基にシステムの試作を行う。２）アルゴリズムの検討 前年度に引き続きアルゴリズムの検討を行う。そこでは、形態素解析だけでなく、文章の係り受けのよさや文の明確性を正解性の評価とすることを考える。また本研究代表者は、さきに情報検索システムの性能を示す指標として、しばしば用いられてきた再現率と精度に関して、またその両方を併せ持ったF尺度やフォールアウトなどの指標が、統計学で長年使われてきた多くの関連度指標とどのような関係にあるかを定量的に評価する研究を行なった。これらの結果の活用も必要に応じて利用する。また同義語辞書の完備や、半教師データの利用についても検討を加える。
|
| Expenditure Plans for the Next FY Research Funding |
研究代表者は、研究成果の国際会議での発表２件を予定している。そのための参加登録料や、旅費が必要である。共同研究者の長塚も昨年同様、総計処理について、幾つかの審査論文の掲載を目指しており、そのための英文校閲費や学会発表旅費が必要である。また今年度より共同研究者にあらたなメンバーを加え、システムの評価を行う予定である。そのために、システムの専門家（人間）との比較が必要であり、専門家に依頼する小論文採点の謝金が必要である。昨年度からの繰り越しは、研究成果の国際会議での発表を昨年度に行わずに、今年度バリ（インドネシア）で開催されるThe 14th International Conference on Information Integration and Web-based Applications & Services (iiWAS2012)で発表することに変更したためである。これは本研究代表者がこの国際会議のプログラム委員を務めることに昨年度、急遽決まったことによる。
|
