• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

実世界知識と言語知識に基づく処理過程の説明性を備えた文章変換計算機構

研究課題

研究課題/領域番号 19H04162
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関東北大学

研究代表者

鈴木 潤  東北大学, データ駆動科学・AI教育研究センター, 教授 (80396150)

研究分担者 松林 優一郎  東北大学, 教育学研究科, 准教授 (20582901)
乾 健太郎  東北大学, 情報科学研究科, 教授 (60272689)
赤間 怜奈  東北大学, データ駆動科学・AI教育研究センター, 助教 (70912533)
研究期間 (年度) 2019-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
16,900千円 (直接経費: 13,000千円、間接経費: 3,900千円)
2021年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2020年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2019年度: 8,060千円 (直接経費: 6,200千円、間接経費: 1,860千円)
キーワード自然言語処理 / 人工知能 / 機械学習 / 文章生成 / 解釈性 / 説明性 / 深層学習 / 自然言語生成
研究開始時の研究の概要

「自然言語て記述された文章から,事前の定義に従って別の文章を生成する」という文章生成の問題(例:自動翻訳,対話)では,「符号化復号化器」と呼ばれるれる深層ニューラルネットワ ークに基づく方法論が現在主流である.しかし,符号化復号化器に基づく方法論とその延長線上の技術では,極めて流暢な文章が得られる半面,説明不能な文章をしばしば生成するという問題点がある.そこで本研究では,「処理過程の説明性を備えた文章変換計算機構の実現により説明不能な生成の発生メカヌズムを解明し,根本的な解決に向けた指針を得られるか」という学術的な問いを探究する.

研究成果の概要

人間と同等レベルの文章生成計算機構の実現は,人工知能および自然言語処理研究における最重要かつ最難関な未解決課題の一つである.現在の深層ニューラルネットに基づく方法は流暢な文章を生成できるようになった反面,誤生成問題という新たな課題が指摘されている.
本研究では,この誤生成問題の解消および発生メカニズムの解明を目的として,事例を用いて誤生成の要因を判断する方法やその根拠として利用するために自然言語解析の高精度化などいくつかの重要な研究を行い問題解決に向けた研究成果を創出した.

研究成果の学術的意義や社会的意義

文章生成における誤生成問題は一見小さな技術的課題のように思えるが,誹謗中傷,差別,卑猥な表現と捉えられるような,状況的,或いは,社会通念的に不適切な文章を実用システムが一度でも誤生成してしまうと致命的な社会問題となりえるという潜在的リスクがある.このことから,誤生成問題の解決に向けた研究成果は社会的に大きな意義がある.また,学術的にも,人間と同等レベルの文章生成技術の実現は,自然言語処理研究の古くからの最難関未解決課題の一つであり,達成に向けた研究成果の意義は高い.

報告書

(4件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実績報告書
  • 2019 実績報告書
  • 研究成果

    (50件)

すべて 2022 2021 2020 2019

すべて 雑誌論文 (19件) (うち査読あり 19件、 オープンアクセス 19件) 学会発表 (31件) (うち国際学会 4件)

  • [雑誌論文] 負例を厳選した対話応答選択による対話応答生成システムの評価2022

    • 著者名/発表者名
      Sato Shiki、Akama Reina、Ouchi Hiroki、Suzuki Jun、Inui Kentaro
    • 雑誌名

      自然言語処理

      巻: 29 号: 1 ページ: 53-83

    • DOI

      10.5715/jnlp.29.53

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Instance-Based Neural Dependency Parsing2021

    • 著者名/発表者名
      Ouchi Hiroki、Suzuki Jun、Kobayashi Sosuke、Yokoi Sho、Kuribayashi Tatsuki、Yoshikawa Masashi、Inui Kentaro
    • 雑誌名

      Transactions of the Association for Computational Linguistics

      巻: 9 ページ: 1493-1507

    • DOI

      10.1162/tacl_a_00439

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Subword-Based Compact Reconstruction for Open-Vocabulary Neural Word Embeddings2021

    • 著者名/発表者名
      Sasaki Shota、Suzuki Jun、Inui Kentaro
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 29 ページ: 3551-3564

    • DOI

      10.1109/taslp.2021.3125133

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 訓練事例の影響の軽量な推定2021

    • 著者名/発表者名
      Sosuke Kobayashi、Yokoi Sho、Suzuki Jun、Inui Kentaro
    • 雑誌名

      自然言語処理

      巻: 28 号: 2 ページ: 573-597

    • DOI

      10.5715/jnlp.28.573

    • NAID

      130008052568

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 機械翻訳モデルの頑健性評価に向けた言語現象毎データセットの構築と分析2021

    • 著者名/発表者名
      Fujii Ryo、Mita Masato、Abe Kaori、Hanawa Kazuaki、Morishita Makoto、Suzuki Jun、Inui Kentaro
    • 雑誌名

      自然言語処理

      巻: 28 号: 2 ページ: 450-478

    • DOI

      10.5715/jnlp.28.450

    • NAID

      130008052586

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] SHAPE: Shifted Absolute Position Embedding for Transformers2021

    • 著者名/発表者名
      Kiyono Shun、Kobayashi Sosuke、Suzuki Jun、Inui Kentaro
    • 雑誌名

      Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing

      巻: NA ページ: 3309-3321

    • DOI

      10.18653/v1/2021.emnlp-main.266

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution2021

    • 著者名/発表者名
      Konno Ryuto、Kiyono Shun、Matsubayashi Yuichiroh、Ouchi Hiroki、Inui Kentaro
    • 雑誌名

      Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing

      巻: NA ページ: 3790-3806

    • DOI

      10.18653/v1/2021.emnlp-main.308

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] データ指向型アプローチによるクローズドブック質問応答2021

    • 著者名/発表者名
      鈴木 正敏, 松田 耕史, 大内 啓樹, 鈴木 潤, 乾 健太郎
    • 雑誌名

      自然言語処理

      巻: 28 号: 1 ページ: 3-25

    • DOI

      10.5715/jnlp.28.3

    • NAID

      130007998395

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Efficient Estimation of Influence of a Training Instance2020

    • 著者名/発表者名
      Sosuke Kobayashi, Sho Yokoi, Jun Suzuki, Kentaro Inui
    • 雑誌名

      Proceedings of SustaiNLP: Workshop on Simple and Efficient Natural Language Processing

      巻: 1 ページ: 41-47

    • DOI

      10.18653/v1/2020.sustainlp-1.6

    • NAID

      130008052568

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Preventing Critical Scoring Errors in Short Answer Scoring with Confidence Estimation2020

    • 著者名/発表者名
      Funayama Hiroaki、Sasaki Shota、Matsubayashi Yuichiroh、Mizumoto Tomoya、Suzuki Jun、Mita Masato、Inui Kentaro
    • 雑誌名

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop

      巻: 1 ページ: 237-243

    • DOI

      10.18653/v1/2020.acl-srw.32

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Embeddings of Label Components for Sequence Labeling: A Case Study of Fine-grained Named Entity Recognition2020

    • 著者名/発表者名
      Takuma Kato, Kaori Abe, Hiroki Ouchi, Shumpei Miyawaki, Jun Suzuki, Kentaro Inui
    • 雑誌名

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop

      巻: 1 ページ: 222-229

    • DOI

      10.18653/v1/2020.acl-srw.30

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition2020

    • 著者名/発表者名
      Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, Kentaro Inui
    • 雑誌名

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics

      巻: 1 ページ: 6452-6459

    • DOI

      10.18653/v1/2020.acl-main.575

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction2020

    • 著者名/発表者名
      Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, Kentaro Inui
    • 雑誌名

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics

      巻: 1 ページ: 4248-4254

    • DOI

      10.18653/v1/2020.acl-main.391

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Single Model Ensemble using Pseudo-Tags and Distinct Vectors2020

    • 著者名/発表者名
      Ryosuke Kuwabara, Jun Suzuki, Hideki Nakayama
    • 雑誌名

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics

      巻: 1 ページ: 3006-3013

    • DOI

      10.18653/v1/2020.acl-main.271

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Evaluating Dialogue Generation Systems via Response Selection2020

    • 著者名/発表者名
      Shiki Sato, Reina Akama, Hiroki Ouchi, Jun Suzuki, Kentaro Inui
    • 雑誌名

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics

      巻: 1 ページ: 593-599

    • DOI

      10.18653/v1/2020.acl-main.55

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese2020

    • 著者名/発表者名
      Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, Kentaro Inui
    • 雑誌名

      Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics

      巻: 1 ページ: 488-504

    • DOI

      10.18653/v1/2020.acl-main.47

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Word Rotator's Distance2020

    • 著者名/発表者名
      Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui
    • 雑誌名

      Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)

      巻: 1 ページ: 2944-2960

    • DOI

      10.18653/v1/2020.emnlp-main.236

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Filtering Noisy Dialogue Corpora by Connectivity and Content Relatedness2020

    • 著者名/発表者名
      Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui
    • 雑誌名

      Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)

      巻: 1 ページ: 941-958

    • DOI

      10.18653/v1/2020.emnlp-main.68

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Attention is Not Only a Weight: Analyzing Transformers with Vector Norms2020

    • 著者名/発表者名
      Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui
    • 雑誌名

      Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)

      巻: 1 ページ: 7057-7075

    • DOI

      10.18653/v1/2020.emnlp-main.574

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Transformerを多層にする際の勾配消失問題と解決法について2022

    • 著者名/発表者名
      高瀬翔, 清野舜, 小林颯介, 鈴木潤
    • 学会等名
      言語処理学会第28回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 規範的な日本語日常対話コーパスの設計2022

    • 著者名/発表者名
      赤間怜奈, 磯部順子, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第28回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 論述リビジョンのためのメタ評価基盤2022

    • 著者名/発表者名
      三田雅人, 坂口慶祐, 萩原正人, 水本智也, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第28回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 記述式答案自動採点における確信度推定とその役割2022

    • 著者名/発表者名
      舟山弘晃, 佐藤汰亮, 松林優一郎, 水本智也, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第28回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] シフト付き絶対位置埋め込み.2022

    • 著者名/発表者名
      清野舜, 小林颯介, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第28回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 目標指向対話のためのサブゴール設計に基づく発話系列生成.2021

    • 著者名/発表者名
      岸波洋介, 赤間怜奈, 佐藤志貴, 徳久良子, 鈴木潤, 乾健太郎
    • 学会等名
      第93回 人工知能学会 言語・音声理解と対話処理研究会(SLUD)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Towards Detecting Errors of Chat Translation: Evaluating Translated Chat with Classifiers and Building Auto-Evaluatable Translation Chat System2021

    • 著者名/発表者名
      李云蒙, 阿部香央莉, 徳久良子, 森下睦, 鈴木潤, 乾健太郎
    • 学会等名
      第16回NLP若手の会 シンポジウム
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 対話システムの先読み能力実現に向けた未来の展開まで生成する学習戦略の提案と分析2021

    • 著者名/発表者名
      岸波洋介, 赤間怜奈, 佐藤志貴, 鈴木潤, 徳久良子, 乾健太郎
    • 学会等名
      2021年度人工知能学会全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 事例ベース依存構造解析のための依存関係表現学習2021

    • 著者名/発表者名
      大内啓樹, 鈴木潤, 小林颯介, 横井祥, 栗林樹生, 吉川将司, 乾健太郎
    • 学会等名
      言語処理学会第27回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] オープンドメイン質問応答における解答可能性判別の役割2021

    • 著者名/発表者名
      鈴木正敏, 松田耕史, 大内啓樹, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第27回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 単語埋め込みの決定的縮約2021

    • 著者名/発表者名
      仲村祐希, 鈴木潤, 高橋諒, 乾健太郎
    • 学会等名
      言語処理学会第27回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] オープンドメインQAにおけるDPRの有効性検証2021

    • 著者名/発表者名
      加藤拓真, 宮脇峻平, 西田京介, 鈴木潤
    • 学会等名
      言語処理学会第27回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 対話システムの矛盾応答の生成に対する脆弱性の分析2021

    • 著者名/発表者名
      佐藤志貴, 赤間怜奈, 大内啓樹, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第27回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Langsmith: 人とシステムの協働による論文執筆2021

    • 著者名/発表者名
      伊藤拓海, 栗林樹生, 日高雅俊, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第27回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ユーザ生成コンテンツの高品質な自動翻訳に向けた言語現象の体系的分析2021

    • 著者名/発表者名
      藤井 諒, 三田 雅人, 阿部 香央莉, 塙 一晃, 森下 睦, 鈴木 潤, 乾 健太郎
    • 学会等名
      2020年度人工知能学会全国大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ニューラル対話応答生成のための言語非依存な低品質対話データフィルタリング法の提案と分析2021

    • 著者名/発表者名
      赤間 怜奈, 横井 祥, 鈴木 潤, 乾 健太郎
    • 学会等名
      2020年度人工知能学会全国大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] JAQKET: クイズを題材にした日本語QAデータセットの構築2020

    • 著者名/発表者名
      鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] スパン間の類似性に基づく事例ベース構造予測2020

    • 著者名/発表者名
      大内啓樹, 鈴木潤, 小林颯介, 横井祥, 栗林樹生, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 擬似タグと線形移動ベクトルを用いた単一モデルによる擬似モデルアンサンブル2020

    • 著者名/発表者名
      桑原亮介, 鈴木潤, 中山英樹
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] テキストを通して世界を見る:機械読解における常識的推論のための画像説明文の評価2020

    • 著者名/発表者名
      Diana Galvan-Sosa, 西田京介, 松田耕史, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 単一評価サンプルのためのトランズダクティブ学習2020

    • 著者名/発表者名
      佐々木翔大, 大内啓樹, 鈴木潤, Ana Brassard, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ベクトル長に基づく自己注意機構の解析2020

    • 著者名/発表者名
      小林悟郎, 栗林樹生, 横井祥, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 大規模疑似データを用いた高性能文法誤り訂正モデルの構築2020

    • 著者名/発表者名
      清野舜, 鈴木潤, 三田雅人, 水本智也, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 記述式答案自動採点のための確信度推定手法の検討2020

    • 著者名/発表者名
      舟山弘晃, 佐々木翔大, 水本智也, 三田雅人, 鈴木潤, 松林優一郎, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 評価データのクラスタリングを用いた記述式答案自動採点のためのトランズダクティブ学習2020

    • 著者名/発表者名
      佐藤俊, 佐々木翔大, 大内啓樹, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 句の呼応と話題の一貫性に着目した低品質対話データの教師なしフィルタリング2020

    • 著者名/発表者名
      赤間怜奈, 鈴木潤, 横井祥, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 対話応答選択による対話応答生成モデルの評価2020

    • 著者名/発表者名
      佐藤志貴, 赤間怜奈, 大内啓樹, 鈴木潤, 乾健太郎
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Diamonds in the Rough: Generating Fluent Sentences from Early-stage Drafts2019

    • 著者名/発表者名
      Takumi Ito, Tatsuki Kuribayashi, Hayato Kobayashi, Ana Brassard, Masato Hagiwara, Jun Suzuki and Kentaro Inui.
    • 学会等名
      Proceedings of the 12th International Conference on Natural Language Generation (INLG-2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Select and Attend: Towards Controllable Content Selection in Text Generation2019

    • 著者名/発表者名
      Xiaoyu Shen, Jun Suzuki, Kentaro Inui, Hui Su, Dietrich Klakow and Satoshi Sekine.
    • 学会等名
      Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP-2019),
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction2019

    • 著者名/発表者名
      Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto and Kentaro Inui.
    • 学会等名
      Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP-2019),
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Transductive Learning of Neural Language Models for Syntactic and Semantic Analysis2019

    • 著者名/発表者名
      Hiroki Ouchi, Jun Suzuki and Kentaro Inui.
    • 学会等名
      Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP-2019),
    • 関連する報告書
      2019 実績報告書
    • 国際学会

URL: 

公開日: 2019-04-18   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi