|
我々は、深層学習による自然言語処理を発展させる鍵は、その技術と記号推論を組み合わせることにあると考える。これにより、データ効率が良く、テキストの変異に頑健であり、推論過程の透明性を持ったシステムの開発できる。しかし、深層学習の鍵は誤差逆伝搬法であるため、離散的な記号関数は本来的に相性が悪い。本課題では、Gumbel-Softmaxトリックを応用し、このようなシステムの勾配による学習を可能にする。
この手法を用い、深層学習ベースの自然言語処理における未解決問題である数量推論に取り組む。我々は深層言語モデルに電卓を組み込むことでこの問題に対処する。
|
