2022 Fiscal Year Annual Research Report
対話情報処理のための知識に基づく適応性・即応性の高い深層学習モデル
| Project/Area Number |
21H03494
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
吉永 直樹 東京大学, 生産技術研究所, 准教授 (90773961)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 適応的言語処理 / 対話情報処理 / 深層学習 / 知識獲得 |
|---|
| Outline of Annual Research Achievements |
前年度の研究で得られた知見を踏まえて以下の研究を実施した。
(1) まず、学習データから抽出した知識を活用する言語理解・生成モデルの研究を行った。言語理解タスクでは、情報抽出タスクの一つである属性値抽出を対象とし、入力属性が取りうる値を学習データから検索して追加入力する手法を開発した。実験結果から、特に低頻度の事象に関して情報抽出精度が大きく改善することが分かった。続いて、長期間対話のための雑談応答生成モデルの研究を進めた。具体的には、ユーザと対話システム間で複数セッションの対話履歴を想定し、過去の対話履歴から検索した対話を文脈として追加入力する応答生成手法を開発した。提案手法の評価のため、X (旧Twitter) アーカイブから長期間対話データセットを構築し、このデータセットを用いた実験により、過去の対話履歴を検索・利用することの有効性を確認するとともに、応答に役立つ過去の対話を検索する上で、検索のキーとバリューを適切に設計することが重要であることを明らかにした。さらに、モデルに対話履歴の積極的な活用を促すため、履歴を復元するマルチタスク学習を組み合わせた雑談応答生成手法を考案し、その有効性を実験を通して確認した。
(2) 対話情報処理において重要となる、テキスト中のエンティティの理解を行うエンティティリンキング手法を開発した。具体的に、過去の学習データから学習されたエンティティリンキングモデルを、前年度開発したエンティティ検出手法で検出した新エンティティに適用できるようにするため、エンティティの出現文脈や定義文を利用してモデルを拡張する手法を考案した。
(3) 音声対話を扱う際にボトルネックとなる音声認識誤りについて、前後の文脈を考慮した音声認識誤り訂正手法を事前学習済みモデルを用いて実装し、その有効性を予備実験を通して確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の研究開発により、複数の言語理解・生成タスクにおいて、知識を活用した深層学習モデルの有効性を確認した。また、テキスト中の実世界知識を適切に扱うためのエンティティリンキング手法も開発した。さらに、音声対話を適切に扱うための音声認識誤り訂正手法も考案して、その有効性を確認しており、全体として順調に進展している。
|
| Strategy for Future Research Activity |
今後は本年度の成果を踏まえて、より効率よく知識を活用する深層学習モデルの開発を行う。本年度得られた知見から、(1) 検索拡張型の深層学習モデルにおいては、検索の結果得られた知識に含まれるノイズが知識の効果的な活用を阻害することが分かったため、この点を改善する手法を開発する。また、(2) 知識検索自体のオーバーヘッドを削減し、対話情報処理に適したリアルタイム処理を行うため、記号処理の枠組みで深層学習の限界を越える高速化を実現する手法の開発も進める。並行して、(3) 実世界知識を扱うために、エンティティに関する世界知識をマイクブログ上の投稿を用いて逐次更新する手法についても合わせて検討を行う。
(1) 検索拡張型モデルの高度化: 情報抽出・雑談応答生成タスクを主なターゲットとして、よりタスクに有用な知識をテキストから動的に検索する手法の開発を行う。また、得られた知識を効率良く参照するメカニズムの検討を進める。
(2) 効率の良い知識検索及びその運用手法: 知識を検索し、入力を拡張する深層学習モデルでは、検索のコストがオーバーヘッドとなる。そこで、知識検索自体の効率化を進める。並行して、本体の深層学習モデルを記号処理に基づく効率の良いモデルで近似する手法についても検討を行う。
(3) テキストストリームからのエンティティ知識の獲得手法: 対話において頻繁に参照されるエンティティ知識は、日々発生し消滅するものである。これまで進めてきたエンティティの発生を検知する手法を補完するため、エンティティの消滅を検知する手法を開発する。
|
Research Products
(23 results)
