言語処理技術を用いた任意の英文書の内容に関する問題と解答の自動生成

2013 Fiscal Year Research-status Report

• Project/Area Number: 24652122
• Research Institution: Kyushu University
• Principal Investigator: 冨浦 洋一 九州大学, システム情報科学研究科(研究院, 教授 (10217523)
• Co-Investigator(Kenkyū-buntansha): 田中 省作 立命館大学, 文学部, 教授 (00325549)
• Keywords: Computer Aided Learning / 重要文 / パラフレーズ / 問題生成 / 多読

Research Abstract

英語学習者が選んだ任意の英文書に対して，その内容に関する問題と解答を自動生成する手法を開発し，これを基に，内容を理解・整理しながら読むという実践的な能力を養成する多読トレーニング支援システムの構築を目指す．平成24年度の調査結果より，自動生成する問題は，文章の内容に合う文（１つ）と矛盾する文（複数）を生成し，その中から文章の内容に合う文を選択させる方式の問題が適切かつ実現可能であると判断した．選択肢の文を生成する元の文はその文章の重要文である．そのうち１つは意味が変わらない言い換えを施し，正解の選択肢の文とし，他は，可能であれば意味が変わらない言い換えを施した後，主語や目的語の名詞を文章中の他の名詞で置換したり，文の肯定／否定を逆転させたりして生成する．基本となる技術は，重要文の抽出と意味が変わらない言い換えである．
平成25年度は重要文の抽出，意味が変わらない言い換えに関する実験および評価を行なった．自然言語処理研究で，重要文の推定や言い換えに関する研究は行なわれているが，最新の高精度の技術は，機械学習に基づくものであり，任意の英文書に対して対応できるほどのトレーニングデータを準備するのは困難である．そこで，対象文書のみを用いて，著者の主張を表す重要語を抽出するための松本真宏らの手法（「語の活性度に基づくキーワード抽出法」，人工知能学会論文誌 17巻4号（2002年））に基づいた重要文の抽出を行ない，抽出された文が「文章を理解する上で，整理し一時的にでも記憶すべき重要文」か否かの評価を行なった．また，文中の「他動詞＋名詞句」に対して，動詞あるいは名詞をその同義語で置き換えることにより意味が変わらない言い換えを生成する（ただし，同義語で置き換えた場合に意味が変わったり不自然な表現になる可能性があるため，検索エンジンのヒット数を利用し適切な候補を求める）手法を開発し評価した．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

文章の内容を問う問題の自動生成システムを実装し，試作したシステムを用いてトレーニングした被験者群（実験群）と，システムから問題・解答の提示機能を削除したものを用いて（つまり単なる多読の）トレーニングした被験者群（統制群）との比較実験を行う予定であった．
しかし，学習者が選んだ任意の英文書に対して問題と解答が生成できるように，機械学習によらない手法を採用したため，重要文の抽出，意味が変わらない言い換えとも，実システムに耐えるほどの精度ではなかった．具体的には，1文書平均６０文から成る英文書２０文書を対象として，各文書ごとに重要文を５文抽出し，３名の被験者のうちいずれかが「文章を理解する上で，整理し一時的にでも記憶すべき重要文」と判断したものを正解とした評価実験での precision は４５％程度であった．また，同義語を利用した意味が変わらない言い換えに関しては，評価対象の「他動詞＋名詞句」に対して提案手法により適切に言い換えられるものの割合（coverage）を４０％程度にした場合の，提案手法により適切と判定された言い換えに対してそれが実際に適切な言い換えである割合（precision）は５０％程度であった．必ずしもすべての「他動詞＋名詞句」を言い換える必要がないことを考慮し，coverage を１０％程度に落とした場合でも，precision は６７％程度であった．
このため，大学生を被験者とする学習効果の比較のための実験は行わず，重要文の抽出法，および，意味が変わらない言い換え手法の改善のための分析を行なった．

Strategy for Future Research Activity

最終年度前半は，重要文抽出，および意味が変わらない言い換えの２つの基本技術について，精度向上のための改善を図り，評価を行なう．具体的には，以下の通り．
平成２５年度に行なった評価実験で，「文章を理解する上で，整理し一時的にでも記憶すべき重要文」として被験者が選んだ文の位置は，文章の最初の部分である割合が最も高く，次いで文章の最後の部分であった．また，起承転結の承や転と考えられる文章の中ほどの部分からも比較的選択されていた．一方，既存手法を利用した重要文抽出法で選択される重要文の位置は，文章の最後の部分である割合が最も高い．最初の部分から選択する割合も比較的高いが，文の位置が進むに連れてその割合は一旦低下し，その後は文の位置が末尾に近づくほど高くなる傾向にあった．これは利用した既存手法が，文章の比較的最初の部分にのみ出現する単語の重要度は低い傾向にあるからと考えられる．想起による語の活性値の伝播アルゴリズムを修正し，段落Ｐで単語 w が共起している他の単語が，段落Ｐより後の段落で出現し活性値が増大した場合に，w の活性値も増大するようにすることで改善できると考えられる．
同義語を利用した意味が変わらない言い換えに関しては，失敗原因のほとんどが，検索エンジンのヒット数を利用して選択した同義語による言い換えが，自然な表現ではあるが元の表現と意味が異なるというものであった．「他動詞＋名詞句」の周辺の単語の分布を利用し，さらに候補を絞り込むように，選択基準を改良する．
改良に時間を要し，多読トレーニングの効果を検証するための被験者実験を行う時間（効果が表れるほどの多読トレーニングを行なう十分な期間）が確保できないことが予想される．このため，トレーニング効果検証のための被験者実験は行わず，最終年度後半に，自動生成した問題と解答を英語教育者に評価してもらう予定である．

Expenditure Plans for the Next FY Research Funding

計画では，今年度，学習者が選んだ任意の英文書に対して，その内容に関する問題と解答を自動生成する手法を開発し，これを基に，学習者が文書を読んだ後に問題に取り組む多読支援システムを試作し，被験者実験によりその効果を予備的に確認するとともに，被験者（学習者）へのインタビューにより，改良すべき点などを考察する予定であった．
しかし，システム構築のための基本技術である重要文の抽出と意味を変えない言い換えを行う手法が十分な精度ではなかったため，試作システムの構築とそれを利用した被験者実験は取りやめ，基礎技術の精度向上のための分析を行った．このため，被験者実験での被験者への謝金，国際会議での研究成果報告のための費用が未使用となった．
平成２６年度に予定していた，提案する支援システムを用いた多読トレーニングの効果を検証するための被験者実験は行わない．これに代えて，基本技術である重要文の抽出および意味を変えない言い換えの手法を改良する．平成２５年度未使用分および平成２６年度に予定していた被験者実験用の費用は，この評価のための学生への謝金，英文校正会社による生成した英文のチェックの費用，さらに，自動生成した選択式の問題とその解答の評価，システムを構築し実験するためのデスクトップＰＣの購入（これまでに利用していた現有のＰＣが年度末に故障したため），国際会議での成果発表の費用に当てる．