Representation learning through graph embedding of multi-domain relational data
| Project/Area Number |
20H04148
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60030:Statistical science-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000)
Fiscal Year 2022: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2021: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2020: ¥6,890,000 (Direct Cost: ¥5,300,000、Indirect Cost: ¥1,590,000)
|
|---|
| Keywords | 多変量解析 / 次元削減 / 分散表現 / 表現学習 / グラフ埋め込み / 自然言語処理 / ニューラルネットワーク / 加法構成性 / パターン認識 |
|---|
| Outline of Research at the Start |
画像，タグ，文書などの多様なドメインのマルチモーダルデータから関連性を考慮してニューラルネットによって情報統合し共通空間で表現する新しい柔軟な多変量解析の方法論を提案・発展させる．画像認識や自然言語処理などの大規模データに取り組み，その経験を理論にフィードバックすることによって，次元削減したベクトルの加減算など共通空間の演算による推論の枠組みの構築を目指し，高度な思考を実現するステップとする．
|
| Outline of Final Research Achievements |
We conducted research to understand how embeddings of relational data represent information. Specifically, We investigated the additive compositionality that forms the basis of analogy calculations using embedded vectors and examined the properties of the embeddings related to it. In conventional additive compositionality, the sum of vectors represents the simultaneous existence of both meanings (AND). However, I demonstrated that the existence of either meaning (OR) can be represented by a frequency-weighted centroid, and the negation of meaning (NOT) is indicated by the negative direction when the origin is relocated to the centroid of the target word set. Furthermore, We theoretically and experimentally demonstrated that the squared norm of word vectors obtained through a form of contrastive learning (SGNS) can be approximated by the Kullback-Leibler (KL) divergence and represents the "strength of meaning."
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究は，関連性データの埋め込みと表現学習に関する新たな知見を提供しました．加法構成性や埋め込みの性質に関する結果は，単語や概念をベクトルで表現する方法に関する理論的な理解を深めることに貢献しました．これにより，なぜニューラルネットが効果的に機能するのか，その原理を理解する道を開くことが期待されます．
|
Report
(4 results)
Research Products
(17 results)
