• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

大規模データにおけるエンコーダ・デコーダモデルの効率的な学習

研究課題

研究課題/領域番号 18K18119
研究種目

若手研究

配分区分基金
審査区分 小区分61030:知能情報学関連
研究機関東京工業大学

研究代表者

高瀬 翔  東京工業大学, 情報理工学院, 助教 (40817483)

研究期間 (年度) 2018-04-01 – 2021-03-31
研究課題ステータス 完了 (2020年度)
配分額 *注記
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2020年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2019年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2018年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
キーワード自然言語処理 / ニューラルネットワーク / 機械翻訳 / 言語モデル
研究成果の概要

本研究の目的は逐次的にモデルを更新可能なエンコーダ・デコーダモデルの実現である。これを実現するためには、質の良いエンコーダ・デコーダが必要であり、本研究では、主にこれの構築に注力した。研究成果として、質の良いエンコーダ・デコーダ(あるいはデコーダ部分に該当するニューラル言語モデル)を構築する手法をいくつか提案した。これらの研究成果について記した論文は、EMNLP、NAACL、AAAI、NeurIPSといった、自然言語処理、人工知能、機械学習分野でのトップ会議に採択されている。

研究成果の学術的意義や社会的意義

ニューラルネットワークの導入により、機械翻訳や要約において、計算機が流暢な出力を行えるようになってきている。しかしながら、計算機の出力した翻訳や要約と、人手で作成したものとの一致率はまだ低く、改善の余地があることが伺える。本研究課題での成果は、従来の機械翻訳器や要約器の性能を引き上げるものであり、この手法を導入することにより、より良い出力が得られると期待できる。特に、本研究では、要約タスクにおいて、人手で設定した要約率に応じた出力を可能にする手法を提案しており、これにより、計算機の出力の柔軟性が向上すると考えられる。

報告書

(4件)
  • 2020 実績報告書   研究成果報告書 ( PDF )
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 研究成果

    (5件)

すべて 2020 2019 2018

すべて 学会発表 (5件) (うち国際学会 4件)

  • [学会発表] All Word Embeddings from One Embedding2020

    • 著者名/発表者名
      Sho Takase, Sosuke Kobayashi
    • 学会等名
      Neural Information Processing Systems
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Positional Encoding to Control Output Sequence Length2019

    • 著者名/発表者名
      Sho Takase, Naoaki Okazaki
    • 学会等名
      North American Chapter of the Association for Computational Linguistics
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Character n-gram Embeddings to Improve RNN Language Models2019

    • 著者名/発表者名
      Sho Takase, Jun Suzuki, Masaaki Nagata
    • 学会等名
      Thirty-Third AAAI Conference on Artificial Intelligence
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 位置エンコーディングを用いた出力長制御2019

    • 著者名/発表者名
      高瀬翔, 岡崎直観
    • 学会等名
      言語処理学会年次大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Direct Output Connection for a High-Rank Language Model2018

    • 著者名/発表者名
      Sho Takase, Jun Suzuki, Masaaki Nagata
    • 学会等名
      Empirical Methods in Natural Language Processing
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会

URL: 

公開日: 2018-04-23   更新日: 2022-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi