Unified word embeddings for domain Ontologies and large-scale documents

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K00318
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Intelligent informatics
• Research Institution: Toyota Technological Institute
• Principal Investigator: Yutaka Sasaki 豊田工業大学, 工学(系)研究科(研究院), 教授 (60395019)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: Poincare埋め込み / Poincare Glove / レトロフィッティング / オントロジー埋め込み / 交通知識ベース

Outline of Final Research Achievements

For applying deep neural learning, it is crucial to represent words and sentences as numerical vectors that reflect the original semantic contents. In this study, we developed a new method to integrate documents information and knowledge structures into a single space on the basis of the Poincare embedding technology. Our retrofitting method maps textual Poincare GloVe embedding vectors to the hypernym Poincare embedding space so that the similarity among textual embedding vectors are preserved. Experimental results show that we can improve hypernym detection performances of the textural Poincare embedding vectors by retrofitting the textual vectors to the skeleton of hypernym embedding vectors. In addition, we created a traffic-rule corpus that has links from traffic terms to a traffic Ontology concepts and relations.

Free Research Field

自然言語処理

Academic Significance and Societal Importance of the Research Achievements

単語や文を数値ベクトルとして表現する技術は深層学習において非常に重要である．しかし，これまで単語を数値ベクトルとして表現する技術と知識構造を埋め込みベクトルとして表現する技術はそれぞれ独立に研究されてきた．特に，Poincare埋め込みは単語の上位下位関係の表現に適しており，知識ベースのベクトル表現に非常に適した方法であるが，扱える単語に制約があった．本研究では，レトロフィッティング法により，大量文書から作成したPoincareベクトルを概念構造から作成したPorincare埋め込みに適合させた点に意義がある．また，交通に関する知識と文書をリンクした新コーパスを一般公開し社会に貢献する．