2021 Fiscal Year Annual Research Report
多ドメイン関連性データのグラフ埋め込みによる表現学習
| Project/Area Number |
20H04148
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
下平 英寿 京都大学, 情報学研究科, 教授 (00290867)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 多変量解析 / 次元削減 / 分散表現 / 表現学習 / グラフ埋め込み / 自然言語処理 / ニューラルネットワーク / 加法構成性 |
|---|
| Outline of Annual Research Achievements |
画像，タグ，文書等の様々なドメインのマルチモーダルデータから関連性を考慮したグラフ埋め込みによって情報統合し共通空間で表現する新しい柔軟な多変量解析の方法論を提案・発展させる．線形変換だけでなくニューラルネットによる非線形変換の次元削減によりグラフ構造を保存する埋め込みの最適化をおこなう．画像認識や自然言語処理などの大規模データに取り組み，その経験を理論にフィードバックすることによって，埋め込んだベクトルの加減算など共通空間の演算による推論の枠組みと，その演算の汎化性能に適した埋め込み空間や類似度関数のモデル選択の方法論の発展を目指す．
本年度は次の成果が得られた．
（１）関連性データからの表現学習において得られる分散表現について，加法構成性などの性質を一般化するための枠組みとして，AND，OR，NOTなど論理演算に対応するベクトル表現の公式を昨年度までに導出していたが，この一般化した加法構成性について単語ベクトルだけでなくBERT等の言語モデルにおける性能向上について実験・評価した．（２） 単語の「意味の強さ」をカルバックライブラー情報量の観点で定式化し，単語ベクトルの長さが意味の強さを表すことを理論と実験で確認した．これは表現学習がどのように情報をエンコードするか，を理解する一歩となる．（３）ｋ近傍法を改良するマルチスケール手法を更に改良・検討して手法の安定化と経済データでの実験を行った．（４）グラフ埋め込みに関連して，ネットワーク成長メカニズムの統計推測のモデルをハイパーグラフに拡張し，また系列データが得られない場合の検討を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
理論研究とその実証実験，および自然言語処理等への応用で一定の成果があった．
|
| Strategy for Future Research Activity |
今後も自然言語処理，画像検索，オミクスデータ解析，経済データ解析などの応用をすすめて得られる知見を理論研究に生かしつつ，理論的な興味に基づいた研究も発展させる．
|
