|
対話生成や要約生成においてリカレントニューラルネットワークによる各単語のベクトル表現を利用し、アテンションにより離れた先行情報の内容を考慮したテキスト生成が行えることを確認した。特に、外部から注目する単語をアテンションとして与えることで、生成されるテキストが変化することを確認できた。これは、特定の文脈によりテキストを生成する場合、注目点以外の情報を無視することが可能であり、忘却による情報の縮約が可能であることを示している。しかし、記憶の削除を実現する手法を開発することは十分できておらず、今後の課題である。しかし、先行文脈における重要度の高い情報のみを保存することで、現在から離れすぎた先行情報を削除するという方法は有望である。
また、リカレントニューラルネットワークを多層化することで、情報の抽象度が上がることを確認した。しかし、多層化された上位層での情報の選別と生成されるテキストとの関係を十分に解析できていない。ただ、上位層では意味的な情報より統語的な情報を表現している傾向があることは確認できており、統語的な情報を組み合わせたセンチメント解析に関する実験により、統語的な情報を用いた情報選別を用いることで、解釈性が改善できることを確認している。特に、統語情報の学習結果より、既存の自然言語処理における文法的な情報が学習により獲得できていることが確認できた。このため、上位層のみに着目した情報集約では十分な性能を得ることは難しいが、上位層の情報だけではなく、下位層の情報と組み合わせることで、適切な情報の縮約が行えると考えている。
対話生成、要約作成、センチメント解析などに関する研究期間中の実験により、先行文脈をセレクトする意味でのアテンション利用は有効であることが確認できており、当初の目的を達成するとともに、新しい研究課題の設定が行えた。
|
