2018 Fiscal Year Annual Research Report
Construction and performance evaluation of an automatic scoring system for essay sentences by the intelligence mining
| Project/Area Number |
16K00299
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
長谷川 孝博 静岡大学, 情報基盤センター, 准教授 (40293609)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | マイニング / 文章力 / 形態素分析 / 学術認証フェデレーション / 情報基盤 / インテリジェンスマイニング |
|---|
| Outline of Annual Research Achievements |
小論文（800～2000文字程度）に含まれる名詞、動詞、助詞、助動詞などの11品詞に分解する形態素分析を用い、各品詞の出現頻度を大量の社説等の出現頻度と照らし合わせ、文章診断と採点を行う小論文高速自動採点クラウドサービスの評価を行った。ここで、同サービスを国立情報研究所が推進する学術認証フェデレーション（学認）に対応させたことにより、学認機構を採用する国内外の数百の大学や研究機関において、本サービスの導入と運用を容易にした。本サービスを構成員約12000名の国立大学法人において導入し、2年間の運用において健全な稼働と効果を測定した。
複数回の学生アンケートによれば、サービスの有効性の5段階評価において「評価5：とても有効」と「評価４：有効」の合算割合は64％～83％であり、被験者の多くが本サービスによる文章力向上の効果を高い率で実感できることが分かった。高等教育における本サービスの有効性が高い確度で検証されたものと結論づける。
他言語と比べて助詞や助動詞が多い日本語には、著者の意識が織り込まれて易く、また体言率や用言率などの利用頻度によっても著者のパーソナリティが診断できる。この仮説に基づくインテリジェンスマイニング(R);分析のアンケートを併せて行った。診断結果に対する一定の評価を得ることができたが、一般的な性格をあらわす記述を、自分だけに当てはまる性格だと捉えてしまう心理学の現象（バーナム効果）の影響を見極める必要がある。本検証後に被験者の学生から集めた感想や考察の一部をURLに公開している。
|
