|
関連性データの埋め込みがどのように情報を表現しているかを理解するための研究を行った．具体的には，埋め込んだベクトルの加減算によるアナロジー計算の基礎となる加法構成性や，それに関係した埋め込みの性質を調べた．通常の加法構成性ではベクトルの和によって意味が同時に成立すること（AND）を表すが，意味のどちらかが成立すること（OR）は頻度重み付き重心，意味の否定（NOT）は対象単語集合の重心に原点を取り直した上で負の方向であることを示した．また，一種の対照学習（SGNS）で得られる単語ベクトルのノルムの２乗がカルバック・ライブラー（KL）情報量で近似され「意味の強さ」を表すことを理論と実験で示した．
|
