2020 Fiscal Year Research-status Report
Context-sensitive Natural Language Processing with Memory Mechanism
| Project/Area Number |
18K11475
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
柳本 豪一 大阪府立大学, 人間社会システム科学研究科, 准教授 (80326280)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 自然言語処理 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
対話生成時には相手の発話内容を考慮して応答を作成する必要があるため、Sequence to Sequenceモデルを用いることとする。しかし、オリジナルのSequence to Sequenceモデルでは直前の初話しか考慮することができない。そこで、過去の発話を保存し、発話を作成する際に校了することができるメモリー機能を実装した。つまり、Sequence to Seqneceモデルのエンコーダーの過去の出力を全て保存することによって、過去の発話を考慮することとする。また、過去の発話を組み合わせるために、現在の相手の発話との類似度に基づいた重みを計算し、その重みを用いた重み付き話として過去の発話を考慮した初期状態をせいせいする。デーコーダーがこの初期状態を用いることで応答を生成する。実装したメモリー機能の効果を確認するため、映画のスクリプトから作成されたデータセットであるCorrel Movie Dialog Corpusを用いて訓練したのちに、対話生成の実験を行った。一連のスクリプト内ではメモリーを保存することとし、スクリプトが変わるごとにメモリーの内容をクリアすることとした。これより、過去の発話に応じて返信が変化することを確認して、メモリーの機能が過去の発話を考慮して対話が行えることを確認した。生成された発話に関しては、定型的な応対に関しては問題はなく、一部の応答では内容的に妥当と言えないものも生成されることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度において過去の発話を考慮するためのメモリー機能を実装することができており、実際にメモリー機能による発話の変化も確認できている。発話内容についてはコーパスが映画のスクリプトに偏っているため、さらなる調整は必要であるが、予定に対して大きな問題が発生しているとは言えないと判断したため。
|
| Strategy for Future Research Activity |
発話内容を改良するため、コーパスの検討やメモリーの利用方法についてさらなる検討を行う。また、メモリー機能は過去の発話の量に応じて、多くの記憶容量を要求するため、記憶容量の削減について検討を行なっていく。
|
| Causes of Carryover |
コロナの影響による出張の制限やオンライン授業などの大学業務の一時的な増加なため、当初の予定より旅費及び学会発表の回数が減ったため、次年度使用額が生じることとなった
|
