• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチモーダル深層エンコーダ・デコーダネットワークによるゼロショット機械翻訳

研究課題

研究課題/領域番号 16H05872
研究種目

若手研究(A)

配分区分補助金
研究分野 知能情報学
研究機関東京大学

研究代表者

中山 英樹  東京大学, 大学院情報理工学系研究科, 准教授 (00643305)

研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
23,400千円 (直接経費: 18,000千円、間接経費: 5,400千円)
2018年度: 6,890千円 (直接経費: 5,300千円、間接経費: 1,590千円)
2017年度: 6,890千円 (直接経費: 5,300千円、間接経費: 1,590千円)
2016年度: 9,620千円 (直接経費: 7,400千円、間接経費: 2,220千円)
キーワード機械翻訳 / ゼロショット学習 / マルチモーダル / 画像認識 / ニューラルネットワーク / 表現学習 / 自然言語処理 / デコーディング / 量子化 / 教師なし学習 / 深層学習 / データ圧縮 / マルチモーダル学習
研究成果の概要

本研究では、画像を異言語テキスト対応付けのハブとして活用することで、対訳テキストコーパスを必要とせず、ソース言語・ターゲット言語それぞれの画像付き単一言語ドキュメントのみから学習する機械翻訳手法を実現した。さらに、翻訳の出力多様性の向上や、手法の軽量化によるスケーラビリティの向上など、実用性を高める各種の改良を行った。これらの成果はACL, ICLRをはじめとするトップレベル国際会議に複数採択されると共に、言語処理学会年次大会で最優秀賞を二度受賞するなど高い評価を得た。

研究成果の学術的意義や社会的意義

機械翻訳はより一層の技術革新が強く求められているアプリケーションであるが、現在の一般的なアプローチにおいては、学習に用いる対訳テキストコーパスの量が性能向上の鍵となる。しかしながら、実際には同一内容を複数言語で記述したテキストドキュメントは少なく、GAFA等一部の巨大企業にデータを独占されているのが現状である。本研究で提案するアプローチでは、誰でも比較的容易に入手可能な画像付き単一言語ドキュメントのみからの学習を実現するものであり、学術的にも独創的な試みであると同時に、機械翻訳の民主化に貢献しうる点で社会的意義も大きいものであると考える。

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実績報告書
  • 2016 実績報告書
  • 研究成果

    (38件)

すべて 2019 2018 2017 2016 その他

すべて 雑誌論文 (13件) (うち査読あり 13件、 オープンアクセス 7件、 謝辞記載あり 1件) 学会発表 (23件) (うち国際学会 13件、 招待講演 3件) 備考 (2件)

  • [雑誌論文] Semantic Aware Attention Based Deep Object Co-segmentation2019

    • 著者名/発表者名
      Hong Chen, Yifei Huang, Hideki Nakayama
    • 雑誌名

      Proceedings of the 14th Asian Conference on Computer Vision (ACCV)

      巻: 印刷中

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Augmenting Image Question Answering Dataset by Exploiting Image Captions2018

    • 著者名/発表者名
      Masashi Yokota, Hideki Nakayama
    • 雑誌名

      Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC)

      巻: - ページ: 2753-2757

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Compressing Word Embeddings via Deep Compositional Code Learning2018

    • 著者名/発表者名
      Raphael Shu, Hideki Nakayama
    • 雑誌名

      Proceedings of the 6th International Conference on Learning Representations (ICLR)

      巻: -

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Coherence Modeling Improves Implicit Discourse Relation Recognition2018

    • 著者名/発表者名
      Noriki Nishida, Hideki Nakayama
    • 雑誌名

      Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL)

      巻: - ページ: 344-349

    • DOI

      10.18653/v1/w18-5040

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Improving Beam Search by Removing Monotonic Constraint for Neural Machine Translation2018

    • 著者名/発表者名
      Raphael Shu, Hideki Nakayama
    • 雑誌名

      Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL)

      巻: 2 ページ: 339-344

    • DOI

      10.18653/v1/p18-2054

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Augmenting Image Question Answering Dataset by Exploiting Image Captions2018

    • 著者名/発表者名
      Masashi Yokota and Hideki Nakayama
    • 雑誌名

      Proceedings of International Conference on Language Resources and Evaluation (LREC)

      巻: 印刷中

    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [雑誌論文] Compressing Word Embeddings via Deep Compositional Code Learning2018

    • 著者名/発表者名
      Raphael Shu and Hideki Nakayama
    • 雑誌名

      Proceedings of International Conference on Learning Representations (ICLR)

      巻: 印刷中

    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [雑誌論文] Zero-resource Machine Translation by Multimodal Encoder-Decoder Network with Multimedia Pivot2017

    • 著者名/発表者名
      Hideki Nakayama and Noriki Nishida
    • 雑誌名

      Machine Translation

      巻: 31 号: 1-2 ページ: 49-64

    • DOI

      10.1007/s10590-017-9197-z

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] An Empirical Study of Adequate Vision Span for Attention-Based Neural Machine Translation2017

    • 著者名/発表者名
      Raphael Shu and Hideki Nakayama
    • 雑誌名

      Proceedings of the First Workshop on Neural Machine Translation

      巻: - ページ: 1-10

    • DOI

      10.18653/v1/w17-3201

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Word Ordering as Unsupervised Learning Towards Syntactically Plausible Word Representations2017

    • 著者名/発表者名
      Noriki Nishida and Hideki Nakayama
    • 雑誌名

      Proceedings of the Eighth International Joint Conference on Natural Language Processing (IJCNLP)

      巻: 1 ページ: 70-79

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Bag of Local Convolutional Triplets for Script Identification in Scene Text2017

    • 著者名/発表者名
      Jan Zdenek and Hideki Nakayama
    • 雑誌名

      Proceedings of 14th IAPR International Conference on Document Analysis and Recognition (ICDAR)

      巻: - ページ: 369-375

    • DOI

      10.1109/icdar.2017.68

    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [雑誌論文] Efficient Two-Step Middle-Level Part Feature Extraction for Fine-Grained Visual Categorization2016

    • 著者名/発表者名
      Hideki Nakayama, Tomoya Tsuda
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E99.D 号: 6 ページ: 1626-1634

    • DOI

      10.1587/transinf.2015EDP7358

    • NAID

      130005154735

    • ISSN
      0916-8532, 1745-1361
    • 関連する報告書
      2016 実績報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Annotation Order Matters: Recurrent Image Annotator for Arbitrary Length Image Tagging2016

    • 著者名/発表者名
      Jiren Jin, Hideki Nakayama
    • 雑誌名

      Proceedings of International Conference on Pattern Recognition

      巻: -

    • 関連する報告書
      2016 実績報告書
    • 査読あり
  • [学会発表] 談話構成素とその文脈による教師なし談話構成素構造解析2019

    • 著者名/発表者名
      西田典起, 中山英樹
    • 学会等名
      言語処理学会第25回年次大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Generating Syntactically Diverse Translations with Syntactic Codes2019

    • 著者名/発表者名
      朱中元, 中山英樹
    • 学会等名
      言語処理学会第25回年次大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Augmenting Image Question Answering Dataset by Exploiting Image Captions2018

    • 著者名/発表者名
      Masashi Yokota, Hideki Nakayama
    • 学会等名
      The Eleventh International Conference on Language Resources and Evaluation (LREC)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Compressing Word Embeddings via Deep Compositional Code Learning2018

    • 著者名/発表者名
      Raphael Shu, Hideki Nakayama
    • 学会等名
      The 6th International Conference on Learning Representations (ICLR)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Coherence Modeling Improves Implicit Discourse Relation Recognition2018

    • 著者名/発表者名
      Noriki Nishida, Hideki Nakayama
    • 学会等名
      The 19th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Improving Beam Search by Removing Monotonic Constraint for Neural Machine Translation2018

    • 著者名/発表者名
      Raphael Shu, Hideki Nakayama
    • 学会等名
      The 56th Annual Meeting of the Association for Computational Linguistics (ACL)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Semantic Aware Attention Based Deep Object Co-segmentation2018

    • 著者名/発表者名
      Hong Chen, Yifei Huang, Hideki Nakayama
    • 学会等名
      The 14th Asian Conference on Computer Vision (ACCV)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] マルチモーダル深層学習の発展2018

    • 著者名/発表者名
      中山英樹
    • 学会等名
      第20回インタラクティブ情報アクセスと可視化マイニング研究会(SIG-AM)
    • 関連する報告書
      2018 実績報告書
    • 招待講演
  • [学会発表] テキストの局所一貫性に基づく半教師あり暗黙的談話関係認識2018

    • 著者名/発表者名
      西田典起
    • 学会等名
      言語処理学会年次大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 深層コード学習による単語分散表現の圧縮2018

    • 著者名/発表者名
      朱中元
    • 学会等名
      言語処理学会年次大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Augmenting Image Question Answering Dataset by Exploiting Image Captions2018

    • 著者名/発表者名
      Masashi Yokota
    • 学会等名
      International Conference on Language Resources and Evaluation (LREC)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Compressing Word Embeddings via Deep Compositional Code Learning2018

    • 著者名/発表者名
      Raphael Shu
    • 学会等名
      International Conference on Learning Representations (ICLR)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] An Empirical Study of Adequate Vision Span for Attention-Based Neural Machine Translation2017

    • 著者名/発表者名
      Raphael Shu
    • 学会等名
      First Workshop on Neural Machine Translation
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Word Ordering as Unsupervised Learning Towards Syntactically Plausible Word Representations2017

    • 著者名/発表者名
      Noriki Nishida
    • 学会等名
      International Joint Conference on Natural Language Processing (IJCNLP)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Bag of Local Convolutional Triplets for Script Identification in Scene Text2017

    • 著者名/発表者名
      Jan Zdenek
    • 学会等名
      International Conference on Document Analysis and Recognition (ICDAR)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Pivot-based Multimodality Integration for Unsupervised Cross-domain Machine Intelligence2017

    • 著者名/発表者名
      Hideki Nakayama
    • 学会等名
      International Symposium on Research and Education of Computational Science (RECS)
    • 関連する報告書
      2017 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 文脈を考慮したアテンションメカニズムの計算量の削減2017

    • 著者名/発表者名
      朱中元
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Script Identification using Bag-of-Words with Entropy-weighted Patches2017

    • 著者名/発表者名
      ズデニェク・ヤン
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] シーングラフを用いた質問文生成によるデータ拡張の手法2017

    • 著者名/発表者名
      横田匡史
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Learning Syntactically Plausible Word Representations by Solving Word Ordering2017

    • 著者名/発表者名
      西田典起
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Annotation Order Matters: Recurrent Image Annotator for Arbitrary Length Image Tagging2016

    • 著者名/発表者名
      Jiren Jin, Hideki Nakayama
    • 学会等名
      International Conference on Pattern Recognition (ICPR)
    • 発表場所
      カンクン(メキシコ)
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Pivot-based multimodality integration for cross-media machine intelligence2016

    • 著者名/発表者名
      Hideki Nakayama
    • 学会等名
      CEMS Topical Meeting on Soft Robotics
    • 発表場所
      理化学研究所(埼玉県和光市)
    • 関連する報告書
      2016 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Recurrent image annotator2016

    • 著者名/発表者名
      Jiren Jin, Hideki Nakayama
    • 学会等名
      第19回画像の認識・理解シンポジウム
    • 発表場所
      アクトシティ浜松(静岡県浜松市)
    • 関連する報告書
      2016 実績報告書
  • [備考] 言語とビジョンの融合に関わる研究成果

    • URL

      http://www.nlab.ci.i.u-tokyo.ac.jp/projects/vision_and_language.html

    • 関連する報告書
      2018 実績報告書 2017 実績報告書
  • [備考] 自然言語処理に関わる研究成果

    • URL

      http://www.nlab.ci.i.u-tokyo.ac.jp/projects/nlp.html

    • 関連する報告書
      2018 実績報告書 2017 実績報告書

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi