| 研究課題/領域番号 |
17K00318
|
|---|
| 研究機関 | 豊田工業大学 |
|---|
研究代表者 |
佐々木 裕 豊田工業大学, 工学(系)研究科(研究院), 教授 (60395019)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2020-03-31
|
| キーワード | 埋め込みベクトル / オントロジ / グラフ埋め込み / WSD |
|---|
| 研究実績の概要 |
word2vec等の埋め込み表現技術は，近年の言語処理において必須の基盤技術となりつつある．本課題を提案して以降，この分野の研究は様々な方向に急速に発展しているが，本研究は，構造化された記号情報と数値ベクトルを対応付ける記号・ニューラル学習法を，「半教師あり学習」の枠組みの中で実現することを目的としてきた．特に，知識ベース等の記号的構造情報と文書等の非構造化情報を統一的に扱う点に特徴がある．
提案者らは，これまで単語辞書の構造情報を用いて，単語の対義語関係や上位・下位語関係のベクトル表現を学習する先駆的な研究を実施してきた．本研究では，これらの研究を発展させ，文書中の情報と知識ベース中の概念構造を統合埋め込みベクトル空間に写像し，照合を可能にすることを目標としている．
2018年度は，Nickel and Kielaにより新たに提案されたPoincare埋め込み表現を導入し，subClassOf関係（上位・下位関係）の構築と，その文書情報との融合について探究した．Poincare埋め込みは，木構造情報の埋め込みベクトル構築に関して，高い性能を達成しているため本研究に組み込むこととした．word2vecはクラス階層を扱うことはできないため，事前学習されたPoincare埋め込みを扱えるようにword2vecを拡張し，クラス階層の埋め込み表現と単語の出現文脈の双方を反映した融合埋め込みベクトル表現を構築する方法を考案した．これにより，単語の多義性解消において，単語の出現文脈にあわせて，オントロジの上位語を選択することが可能となる．また，オントロジに出現しない単語についても，オントロジ中のクラスに対応する埋め込みベクトル間との距離を計算することが可能となる．また，これらの研究に並行して，評価用のデータセットとして利用するため，交通文書に対するアノテーションを実施した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
2018年度の研究項目として，(1)上位・下位関係を表現した埋め込みベクトル表現に属性も含んだ埋め込み表現の構築，(2)文書情報と構造情報の埋め込みの統合，(3)ベンチマークテストセットによる評価実験の3つを計画していた．
本研究の研究協力者であった博士研究員が退職したこともあり，計画を一部修正し実施した．第１項目は，非ユークリッド空間に単語を埋め込む「Poincare埋め込み」という強力な新規手法が出現したことで，クラス階層をPoincare埋め込みで表現することに軌道修正した．Poincare埋め込みは，従来のユークリッド空間への単語の埋め込みではなく，非ユークリッド空間である双曲空間に単語を埋め込むまったく新しい手法である．木構造は，末端に行くほどノード数が多くなるため，周辺ほど空間が広がるように歪めた空間の方が表現に適している．実際，木構造の埋め込み表現による上位ノードの予測性能は従来手法と比較して格段に向上している．このため，属性の埋め込みについては検討まで行い，実装・実験は2019年度のテーマとした．第２項目は，現在，深層学習関連の研究が急速に進んでおり，本研究が対象とした，知識構造に対する埋め込みベクトルの作成の研究も予想よりも早く展開していることから，前年度から文書と概念構造から埋め込みベクトルの構成法の研究は，予定より早く進捗させてきた．さらに，大量の文書からの埋め込みとPoincare埋め込みの双方を融合した概念クラスの埋め込みベクトルの作成方法については計画に含まれていなかった新規の研究成果である．第３項目のベンチマークテストセットのアノテーションも進捗しているが，アノテーション基準の変更が生じたため，継続して作業を続けている．
|
| 今後の研究の推進方策 |
2018年度は，これまで進めたオントロジの上位下位関係に対するPoincare埋め込みベクトルと文脈情報を融合した埋め込みベクトルの構築の研究に対して，他のオントロジの構造を含む埋め込みベクトル構築法を開発する．文書にアノテートされたオントロジ関係を利用し，埋め込みベクトルを構築する．属性の扱いに関しては，オントロジー中の<s,v,o>の3つ組に関しても，独自に拡張したword2vecにより，文書と同様に埋め込みベクトルの更新を行うことで，埋め込みベクトルに属性の関係も反映させることが可能となると見込んでいる．属性や関係には，ベクトルではなく行列やテンソルを対応させることにより，属性・関係の数値化を行うアプローチも存在するが，ここでは，１つのベクトルにどこまで上位下位関係と属性の関係を埋め込めるかを追及していく．これは，有名な埋め込みベクトルに関する演算 king - man + woman = queen が示す加法性が，埋め込みベクトルの中に様々な属性が埋め込まれており，それらを増減できることを示唆しているためである．適切な埋め込み法を開発することで，このような属性の加法性をさらに正確にベクトル中に表現できる可能性を示している．この部分は特許性も十分に含んでいると考えている．
研究の最終年度にあたり，埋め込みベクトルの次元やウィンドウサイズなどの調整も実施し，性能を可能な限り上昇させる．実験・評価は，ベンチマークテストセットおよび日本語の交通オントロジーを対象に実施する．word2vecやPoincare埋め込みの計算はシングルCPUでも高速に実施できるが，計算時間的な問題があれば，並列計算を導入により効率的に埋め込みベクトルの計算を行う．また，適切なソフトウェアライセンスに基づき，実装したソフトウェアを公開していく．
|
| 次年度使用額が生じた理由 |
博士研究員の退職にともない，国際会議への参加を次年度に設定したこと，およびオントロジの構築のためのアノテーションにおいて基準の見直し等を行ったことで，アノテーションの作業費用を次年度に移した．
|
