Compositionality and Interpretation of Word Embeddings

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K12099
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Tokyo Metropolitan University
• Principal Investigator: Komachi Mamoru 東京都立大学, システムデザイン研究科, 教授 (60581329)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 単語分散表現 / 構成性 / 機械翻訳 / 文法誤り訂正 / 意味変化

Outline of Final Research Achievements

In this research, we studied methods for composing distributed representation of words from smaller units in word representation learning in natural language processing. Specifically, focusing on machine translation, we explored the optimal granularity of input for learning distributed representation of words in Japanese-Chinese translation. We also clarified what kind of knowledge is transferable across languages such as Japanese, English, German, and Russian for grammatical error correction. In addition, we addressed the interpretation of word representations, and proposed a highly interpretable method for learning word representations to capture diachronic semantic change, employing an approach with an information-theoretic background.

Free Research Field

自然言語処理

Academic Significance and Societal Importance of the Research Achievements

本研究の成果は、日本語や中国語のような表意文字を用いる言語は、文字よりも細かい単位で意味を捉える方が適切であるという可能性を示唆している点にあります。世界的には英語に代表されるような少数のアルファベットを用いる言語が広く研究されていますが、そのような言語で提案されている手法が日本語や中国語では必ずしも最適な手法ではない、ということを意味します。深層学習の登場により多言語を同時に扱うことのできる手法がさまざま提案されていますが、それぞれの言語の特徴も考慮することの重要性を改めて示しています。