複雑な作業を支援するための言語インタフェース技術

2022 年度 実績報告書

• 研究課題/領域番号: 21H03502
• 研究機関: 国立情報学研究所
• 研究代表者: 相澤 彰子 国立情報学研究所, コンテンツ科学研究系, 教授 (90222447)
• 研究期間 (年度): 2021-04-01 – 2024-03-31
• キーワード: 対話システム / 意味解析 / 基盤化 / 言語モデル / 視覚言語

研究実績の概要

本研究では、複雑な作業を言語でコンピュータに指示するための対話技術の研究に取り組む。ここでの「複雑な作業」とは、事前登録した関数を呼び出すだけでは解決できず、複数の関数（API）の呼び出しや詳細な条件設定などが必要となる処理である。このような複雑な作業は、単発の自然な発話では指示が困難で、現在のスマートスピーカやオンラインチャットの技術では扱うことができない。本研究では、その限界を克服するための中核的な技術として、対話による共通理解モデルの構築（＝「基盤化」）に焦点をあてている。そして、「エンティティ参照の基盤化」、「作業手順の基盤化」、および「対話知識の獲得」の３つの課題を設定して、言語、視覚、計算プログラムが融合した環境に適応する新しい基盤化手法の研究開発に取り組んでいる。

２０２２年度は、発話内容をコンピュータで実行可能なコマンド列に変換するための技術として、自然言語文クエリをSQLクエリに変換する意味解析の研究開発に取り組んだ。特に、自然言語文中のエンティティとデータベースの構成要素（項目名や値など）の対応付け手法の開発に取り組み、未知のデータベースにも適応可能な汎用的な解析手法の開発を進めた（「エンティティ参照の基盤化」）。また、ブラウザ上に表示される自然言語タスク等に回答するため視覚・言語・アクションを統合した新たな言語モデルを提案して実装・評価した（「作業手順の基盤化」）。２０２２年度ではさらに自然言語による質問応答について、言語モデルのショートカット学習や多段推論の分析手法を提案して評価した。さらに、基盤化において重要な数量的知識の獲得に関する研究に取り組み、数字の予測タスクを用いて自然言語文中に出現する数字の埋め込み表現を獲得する手法を提案した（「対話知識の獲得」）。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

自然言語文クエリをSQLクエリに変換する意味解析の研究については、未知のデータベースに対応する汎化能力に対応するためのデータ増強手法を提案して、既存のSPIDERデータセットを拡張して有効性を示した。その結果を国際会議で発表した（Julavanich et al., 2022）。また、視覚・言語・アクションを統合した新たな言語モデルについては、ブラウザ上でのフォームへの入力やマウスクリック等を含むタスクを通して有効性を検証してarXiv論文の形で発表した（Iki et al., 2022）。自然言語による質問応答については、言語モデルのショートカット学習に関する分析や多段推論の分析手法に関する研究成果を国際会議で発表した（Shinoda et al., 2023-a,b; Ho et al., 2022; Meissner et al., 2022）。さらに、自然言語文中に出現する数字の埋め込み表現の獲得についてk近傍言語モデルを用いた手法を提案して口頭提案した（Sakamoto et al., 2022）。

今後の研究の推進方策

２０２３年度は、数量的知識の獲得に関する研究を引き続き実施して、文中の数字の誤り検出タスクの設計およびモデル構築に取り組む。また、対話の基本ユニットとなる質問応答については、特に多段推論機能に焦点をあてて、ショートカットの回避および回答への説明出力の手法の研究を進める。これらの研究成果を踏まえて、文書に紐づけられた（基盤化された）対話システムの研究を実施して、最終年度のまとめとする。

研究成果

• [雑誌論文] How Well Do Multi-hop Reading Comprehension Models Understand Date Information? (2022)
  • 著者名/発表者名: Xanh Ho, Saku Sugawara, Akiko Aizawa
  • 雑誌名: Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Short Papers) 巻: - ページ: 470-479
  • 査読あり / オープンアクセス
• [雑誌論文] Debiasing Masks: A New Framework for Shortcut Mitigation in NLU (2022)
  • 著者名/発表者名: Johannes Mario Meissner, Saku Sugawara, Akiko Aizawa
  • 雑誌名: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing 巻: - ページ: 7607-7613
  • 査読あり / オープンアクセス
• [雑誌論文] Measuring Text-to-SQL Semantic Parsing Model on the Question Generalizability (2022)
  • 著者名/発表者名: Thanakrit Julavanich and Akiko Aizawa
  • 雑誌名: Proceedings of the 6th International Conference on Natural Language Processing and Information Retrieval (NLPIR 2022) 巻: - ページ: -
  • 査読あり
• [雑誌論文] Do BERTs Learn to Use Browser User Interface? Exploring Multi-Step Tasks with Unified Vision-and-Language BERTs (2022)
  • 著者名/発表者名: Taichi Iki and Akiko Aizawa
  • 雑誌名: arXiv: 2203.07828 巻: - ページ: -
  • オープンアクセス
• [雑誌論文] Penalizing Confident Predictions on Largely Perturbed Inputs Does Not Improve Out-of-Distribution Generalization in Question Answering (2022)
  • 著者名/発表者名: Kazutoshi Shinoda, Saku Sugawara, and Akiko Aizawa
  • 雑誌名: The AAAI-23 Workshop on Knowledge Augmented Methods for NLP (KnowledgeNLP) 巻: - ページ: -
  • 査読あり / オープンアクセス
• [雑誌論文] Which Shortcut Solution Do Question Answering Models Prefer to Learn? (2022)
  • 著者名/発表者名: Kazutoshi Shinoda, Saku Sugawara, and Akiko Aizawa
  • 雑誌名: Proceedings of the 37th AAAI conference on Artificial Intelligence (AAAI) 巻: - ページ: -
  • 査読あり / オープンアクセス
• [学会発表] k近傍言語モデルを用いたテキスト中の数字の予測 (2022)
  • 著者名/発表者名: 阪本 拓功, 相澤 彰子
  • 学会等名: 人工知能学会 第36回全国大会 (JSAI2022)