|
画像，タグ，文書等の様々なドメインのマルチモーダルデータから関連性を考慮したグラフ埋め込みによって情報統合し共通空間で表現する新しい柔軟な多変量解析の方法論を提案・発展させる．線形変換だけでなくニューラルネットによる非線形変換の次元削減によりグラフ構造を保存する埋め込みの最適化をおこなう．画像認識や自然言語処理などの大規模データに取り組み，その経験を理論にフィードバックすることによって，埋め込んだベクトルの加減算など共通空間の演算による推論の枠組みと，その演算の汎化性能に適した埋め込み空間や類似度関数のモデル選択の方法論の発展を目指す．
本年度は次の成果が得られた．
（１） 加法構成性などの性質を一般化するための枠組みとして，AND，OR，NOTなど論理演算について，BERT等の言語モデルについて追加実験を行い有効性を確認した．（２）単語のコーパス分布を事前分布，文脈における分布を事後分布と考えたときの情報ゲインが単語ベクトルのノルムの２乗に相当することを，指数型分布族の観点で示した．また，大規模コーパスにおける検証や，キーワード抽出等の下流タスクにおける数値実験を行い有効性を確認した．(３）マルチタスク転移学習における表現学習について検討した．（４）文の意味の違いを測る指標として単語ベクトル間の距離をコストとする最適輸送距離を用いる手法があるが，これにBERTのself-attention matrixの違いも加味することで，文構造を考慮した最適輸送距離の実験を行い有効性を確認した．
|
