• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

連語抽出手法と深層学習の融合による自然言語処理の精度向上に関する研究

研究課題

研究課題/領域番号 19K20333
研究種目

若手研究

配分区分基金
審査区分 小区分61030:知能情報学関連
研究機関筑波大学

研究代表者

若林 啓  筑波大学, 図書館情報メディア系, 准教授 (40631908)

研究期間 (年度) 2019-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2020年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2019年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
キーワード連語抽出 / 深層学習 / 能動学習 / 隠れマルコフモデル / 文書要約 / 対話システム / トピックモデル / クラウドソーシング / 自然言語教示 / 自然言語処理 / 遠距離教師あり学習 / 連語
研究開始時の研究の概要

機械翻訳における翻訳ミスや,対話システムにおける見当違いの対話応答,質問応答における質問意図の取り違えなど,自然言語処理アプリケーションの様々なエラーに共通する大きな原因に,複数の単語で特定の意味を持つ連語(collocation)の考慮ができていないという点がある.本研究では,文章から意味がありそうな単語の並びを抽出する連語抽出手法と,抽出された連語を精度向上に活かす連語を考慮した深層学習手法を発展・融合させることで,様々な自然言語処理アプリケーションの精度を改善する基盤技術を構築する.

研究成果の概要

本研究では,以下の3つの研究課題に取り組んだ.(課題A) テキストから意味のある連語をより高精度に抽出する技術として,連語の手がかりになる言語資源を活用した連語抽出モデル学習手法や,連語抽出モデルに対する効率的な教示手法を提案し,連語抽出に用いる統計モデルの基礎理論を発展させた.(課題B) 抽出された連語を活用して,文書要約,対話システムの言語理解,トピックモデリングの自然言語処理アプリケーションの精度を向上させる深層学習手法を提案した.(課題C) 後段の自然言語処理タスクの精度向上に寄与するような連語を,後段タスクの学習中に動的に抽出する手法を提案し,その効果を検証した.

研究成果の学術的意義や社会的意義

複数の単語で特定の意味を持つ連語を考慮することは,多くの自然言語処理のアプリケーションの精度を向上させるために重要な課題である.しかし,連語抽出手法の性質が,後段の自然言語処理タスクを学習する深層学習手法に与える影響については,これまで明らかにされてこなかった.本研究成果の意義は,連語の抽出と深層学習による自然言語処理タスクの精度向上を結びつける方法論を示し,その効果を明らかにしたことにある.とりわけ,連語を明示的に分析結果として提示するトピックモデリングや対話システムの言語理解タスクにおいて,直接的に応用可能な研究成果が得られたと考える.

報告書

(5件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (30件)

すべて 2023 2022 2021 2020 2019

すべて 雑誌論文 (18件) (うち査読あり 18件、 オープンアクセス 11件) 学会発表 (12件)

  • [雑誌論文] Keyphrase-based Refinement Functions for Efficient Improvement on Document-Topic Association in Human-in-the-Loop Topic Models2023

    • 著者名/発表者名
      Muhammad Haseeb UR Rehman Khan、Kei Wakabayashi
    • 雑誌名

      情報処理学会論文誌データベース(TOD)

      巻: 16

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Robust Slot Filling Modeling for Incomplete Annotations using Segmentation-Based Formulation2022

    • 著者名/発表者名
      Wakabayashi Kei、Takeuchi Johane、Nakano Mikio
    • 雑誌名

      人工知能学会論文誌

      巻: 37 号: 3 ページ: IDS-E_1-12

    • DOI

      10.1527/tjsai.37-3_IDS-E

    • ISSN
      1346-0714, 1346-8030
    • 年月日
      2022-05-01
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Effect of Label Redundancy in Crowdsourcing for Training Machine Learning Models2022

    • 著者名/発表者名
      Shimizu Ayame、Wakabayash Kei
    • 雑誌名

      Journal of Data Intelligence

      巻: 3 号: 3 ページ: 301-315

    • DOI

      10.26421/jdi3.3-1

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Effect of Label Redundancy in Crowdsourcing for Training Machine Learning Models2022

    • 著者名/発表者名
      Ayame Shimizu, Kei Wakabayashi
    • 雑誌名

      Journal of Data Intelligence

      巻: 3

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Robust Slot Filling Modeling for Incomplete Annotations using Segmentation-Based Formulation2022

    • 著者名/発表者名
      Kei Wakabayashi, Johane Takeuchi, Mikio Nakano
    • 雑誌名

      人工知能学会論文誌

      巻: 37

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Efficient Training Method for Phrase Extraction Models using Natural Language Explanations2021

    • 著者名/発表者名
      Ryosuke Saito, Koga Kobayashi, Kei Wakabayashi
    • 雑誌名

      Proceedings of the 23rd International Conference on Information Integration and Web Intelligence

      巻: - ページ: 288-295

    • DOI

      10.1145/3487664.3487703

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Active Learning for Extracting Technical Terms Covering Multiword Phrases2021

    • 著者名/発表者名
      Fumimaro Odakura, Koga Kobayashi, Kei Wakabayashi
    • 雑誌名

      Proceedings of the 23rd International Conference on Information Integration and Web Intelligence

      巻: - ページ: 311-318

    • DOI

      10.1145/3487664.3487706

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Examining Effect of Label Redundancy for Machine Learning using Crowdsourcing2021

    • 著者名/発表者名
      Ayame Shimizu, Kei Wakabayashi
    • 雑誌名

      Proceedings of the 23rd International Conference on Information Integration and Web Intelligence

      巻: - ページ: 87-94

    • DOI

      10.1145/3487664.3487677

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Segmentation-Based Formulation of Slot Filling Task for Better Generative Modeling2021

    • 著者名/発表者名
      Kei Wakabayashi, Johane Takeuchi, Mikio Nakano
    • 雑誌名

      Proceedings of the 12th International Workshop on Spoken Dialog System Technology

      巻: -

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Drifting and Popularity: A Study of Time Series Analysis of Topics2021

    • 著者名/発表者名
      Muhammad Haseeb UR Rehman Khan, Kei Wakabayashi
    • 雑誌名

      Proceedings of the Seventh International Conference on Big Data, Small Data, Linked Data and Open Data

      巻: - ページ: 16-22

    • 関連する報告書
      2021 実施状況報告書 2020 実施状況報告書
    • 査読あり
  • [雑誌論文] Partial Annotation Scheme for Active Learning on Named Entity Recognition Tasks2020

    • 著者名/発表者名
      Koga Kobayashi, Kei Wakabayashi
    • 雑誌名

      Journal of Data Intelligence

      巻: 1 号: 3 ページ: 319-332

    • DOI

      10.26421/jdi1.3-2

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Batch Prioritization of Data Labeling Tasks for Training Classifiers2020

    • 著者名/発表者名
      Masanori Kimura, Kei Wakabayashi, Atsuyuki Morishima
    • 雑誌名

      Proceedings of the 8th AAAI Conference on Human Computation and Crowdsourcing

      巻: - ページ: 163-167

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Effect of Semantic Content Generalization on Pointer Generator Network in Text Summarization2020

    • 著者名/発表者名
      Yixuan Wu, Kei Wakabayashi
    • 雑誌名

      Proceedings of the 22nd International Conference on Information Integration and Web-based Applications & Services

      巻: - ページ: 72-76

    • DOI

      10.1145/3428757.3429118

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Mitigating Effect of Dictionary Matching Errors in Distantly Supervised Named Entity Recognition2020

    • 著者名/発表者名
      Koga Kobayashi, Kei Wakabayashi
    • 雑誌名

      Proceedings of the 22nd International Conference on Information Integration and Web-based Applications & Services

      巻: - ページ: 111-114

    • DOI

      10.1145/3428757.3429142

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Silent HMMs: Generalized Representation of Hidden Semi-Markov Models and Hierarchical HMMs2019

    • 著者名/発表者名
      Kei Wakabayashi
    • 雑誌名

      Proceedings of the 14th International Conference on Finite State Methods and Natural Language Processing

      巻: - ページ: 98-107

    • DOI

      10.18653/v1/w19-3113

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Named entity recognition using point prediction and active learning2019

    • 著者名/発表者名
      Koga Kobayashi, Kei Wakabayashi
    • 雑誌名

      Proceedings of the 21st International Conference on Information Integration and Web-based Applications & Services

      巻: - ページ: 287-295

    • DOI

      10.1145/3366030.3366072

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Events Insights Extraction from Twitter Using LDA and Day-Hashtag Pooling2019

    • 著者名/発表者名
      Muhammad Haseeb Ur Rehman Khan, Kei Wakabayashi, Satoshi Fukuyama
    • 雑誌名

      Proceedings of the 21st International Conference on Information Integration and Web-based Applications & Services

      巻: - ページ: 240-244

    • DOI

      10.1145/3366030.3366090

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Estimation Method of L2 Learners' Second Language Ability by using Features in Conversation2019

    • 著者名/発表者名
      Xinnan Chen, Muhammad Haseeb Ur Rehman Khan, Kei Wakabayashi
    • 雑誌名

      Proceedings of the 21st International Conference on Information Integration and Web-based Applications & Services

      巻: - ページ: 142-150

    • DOI

      10.1145/3366030.3366037

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 動作を表す言語を生成する深層学習における共同注意の有効性2023

    • 著者名/発表者名
      小田倉 史麿, 若林 啓
    • 学会等名
      第37回人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 後段タスクの精度向上のためのマルチレベルな分かち書きの最適化2022

    • 著者名/発表者名
      小田倉 史麿, 若林 啓
    • 学会等名
      第36回人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書 2021 実施状況報告書
  • [学会発表] Topic Modeling using Jointly Fine-tuned BERT for Phrases and Sentences2022

    • 著者名/発表者名
      Zikai Zhou and Kei Wakabayashi
    • 学会等名
      第14回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 自然言語教示によるフレーズ抽出器の学習に関する研究2021

    • 著者名/発表者名
      齊藤 亮将, 小林 滉河, 若林 啓
    • 学会等名
      第13回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 能動学習による複合語を考慮した専門用語抽出2021

    • 著者名/発表者名
      小田倉 史麿, 小林 滉河, 若林 啓
    • 学会等名
      第13回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] クラウドソーシングによる訓練データセット構築における最適な冗長度の検証2021

    • 著者名/発表者名
      清水 綾女, 若林 啓
    • 学会等名
      第13回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] ゼロショット文書分類向けの情報源領域から学習データの選択手法2021

    • 著者名/発表者名
      大畑 直輝, 白井 匡人, 若林 啓, 劉 健全
    • 学会等名
      第13回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 遠距離教師あり固有表現抽出における辞書マッチの誤りの考慮2020

    • 著者名/発表者名
      小林 滉河, 若林 啓
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Effect of Semantic Content Generalization on Pointer Generator Network in Text Summarization2020

    • 著者名/発表者名
      Wu Yixuan, 若林 啓
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 変分ベイズにおける最適解探索効率の検証2020

    • 著者名/発表者名
      岡 威久馬, 若林 啓
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 文書要約における転移学習のための文書選択手法の提案2020

    • 著者名/発表者名
      白井 匡人, 若林 啓
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Twitterユーザのリツイート情報を用いたトピックの可視化2020

    • 著者名/発表者名
      清水 綾女, 若林 啓, 佐藤 哲司
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi