Development of advanced inference technologies for huge knowledge graphs in tensor spaces

• Project/Area Number: 18H03288
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Wakayama University
• Principal Investigator: 坂間 千秋 和歌山大学, システム工学部, 教授 (20273873)
• Co-Investigator(Kenkyū-buntansha): 井上 克巳 国立情報学研究所, 情報学プリンシプル研究系, 教授 (10252321) ; 林 克彦 東京大学, 大学院情報理工学系研究科, 助教 (50725794)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Project Status: Granted (Fiscal Year 2021)
• Budget Amount: ¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000); Fiscal Year 2021: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2020: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2019: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2018: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
• Keywords: 知識グラフ / 高次推論 / テンソル空間 / 近似計算 / 人工知能 / 論理推論 / アブダクション / 量子化

Outline of Annual Research Achievements

本研究の目的は、人工知能における高次推論を知識グラフのような巨大知識ベースにおいて実現するための新しい計算手法を導入することである。研究2年目である2019年度は、(1)解集合プログラミングのテンソル空間における近似的・効率的計算の研究、(2)テンソル空間に於けるコスト最小化による論理推論の研究、(3)バイナリベクトル空間における知識グラフ高速検索手法の研究、の３つのサブテーマを設定し研究活動を行った。具体的な成果は下記の通りである。

(1) スパース行列の効率的な計算手法を利用して、論理プログラムの最小モデルを高速に計算する方法を開発した。スパース手法では時間・メモリを消費していた問題に対し高速化の効果を確認し、論理プログラムのモデル計算として用いられるASPソルバーであるclingoを凌ぐ性能を発揮した。本研究の成果をまとめた論文は現在、国際会議に投稿中である。
(2) 論理プログラムに関わるスケーラブル且つ厳密なアブダクションをテンソル空間に於けるコスト最小化問題として定式化し、SAT問題と知識グラフに適用して実験的に効果を確認した。また解集合確率モデリングも同様に定式化し、研究結果を国際会議(ICAART 2020)および国際ワークショップ(DeLBP'19、NeSy'19)で発表した。
(3) 知識グラフのテンソル分解モデルをバイナリ化する研究を行い、学習時にHinton法を利用する事で実数ベクトルを強制的にバイナリ化する手法を提案し国際会議(ECIR'19)で発表した。また、テンソル分解モデルをバイナリ化しても知識グラフをモデル化するのに十分な表現力がある事を理論的に証明し、ArXiv論文を公開すると共に国際ジャーナルに投稿中である。また、言語処理学会第26回年次大会において学習時にもバイナリベクトルのまま最適化を行う新しい手法を提案した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2019年度の交付申請書に記載した研究実施計画の３つのテーマについて研究が遂行され、投稿中の論文を含めて複数の研究成果が得られていることから、概ね計画通りに順調に研究が進捗していると考えられる。

Strategy for Future Research Activity

2020年度の交付申請書に記載した研究実施計画に沿って、和歌山大学、国立情報学研究所(NII)、東京大学の各拠点で連携して研究を実施し、その成果を国際会議や論文誌などに投稿する予定である。

Research Products

• [Int'l Joint Research] University of Information Technology(ベトナム)
• [Int'l Joint Research] University of Information Technology(ベトナム)
• [Journal Article] From 3-Valued Semantics to Supported Model Computation for Logic Programs in Vector Spaces (2020)
  • Author(s): Taisuke Sato, Chiaki Sakama, Katsumi Inoue
  • Journal Title: Proceedings of the 12th International Conference on Agents and Artificial Intelligence (ICAART 2020) Volume: 2 Pages: 758-765
  • DOI: 10.5220/0009093407580765
  • Peer Reviewed / Open Access
• [Journal Article] Disjunctive Abduction (2019)
  • Author(s): Katsumi Inoue, Chiaki Sakama
  • Journal Title: New Generation Computing Volume: 37(2) Pages: 219-243
  • DOI: 10.1007/s00354-019-00059-x
  • Peer Reviewed
• [Journal Article] Binarized Knowledge Graph Embeddings (2019)
  • Author(s): Koki Kishimoto, Katsuhiko Hayashi, Genki Akai, Masashi Shimbo, Kazunori Komatani
  • Journal Title: Advances in Information Retrieval. ECIR 2019. Lecture Notes in Computer Science Volume: 11437 Pages: 181-196
  • DOI: 10.1007/978-3-030-15712-8_12
  • Peer Reviewed
• [Journal Article] Computing Logic Programming Semantics in Linear Algebra (2018)
  • Author(s): Hien D. Nguyen, Chiaki Sakama, Taisuke Sato, Katsumi Inoue
  • Journal Title: Lecture Notes in Artificial Intelligence Volume: 11248 Pages: 32-48
  • DOI: 10.1007/978-3-030-03014-8_3
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Abducing Relations in Continuous Spaces (2018)
  • Author(s): Taisuke Sato, Katsumi Inoue, Chiaki Sakama
  • Journal Title: Proceedings of the 27th International Joint Conference on Artificial Intelligence (IJCAI 2018) Volume: 0 Pages: 1956-1962
  • DOI: 10.24963/ijcai.2018/270
  • Peer Reviewed / Open Access
• [Journal Article] Partial Evaluation of Logic Programs in Vector Spaces (2018)
  • Author(s): Chiaki Sakama, Hien D. Nguyen, Taisuke Sato, Katsumi Inoue
  • Journal Title: Proceedings of the 11th International Workshop on Answer Set Programming and Other Computing Paradigms (ASPOCP 2018), CoRR abs Volume: 1811.11435 Pages: 1-14
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] Logical inference as cost minimization in vector spaces (2020)
  • Author(s): Taisuke Sato, Ryosuke Kojima
  • Organizer: Fourth International Workshop on Declarative Learning Based Programming(DeLBP 2019)
  • Int'l Joint Research
• [Presentation] T-PRISM: A tensorized logic programming language for data modeling (2020)
  • Author(s): Ryosuke Kojima, Taisuke Sato
  • Organizer: 14th International Workshop on Neural-Symbolic Learning and Reasoning (NeSy'19)
  • Int'l Joint Research
• [Presentation] From 3-valued semantics to supported model computation for logic programs in vector spaces (2020)
  • Author(s): Taisuke Sato, Chiaki Sakama, Katsumi Inoue
  • Organizer: 12th International Conference on Agents and Artificial Intelligence (ICAART 2020)
  • Int'l Joint Research
• [Presentation] バイナリCP分解モデルのビット反転学習法 (2020)
  • Author(s): 林克彦、岸本広輝、新保仁
  • Organizer: 言語処理学会第26回年次大会
• [Presentation] Binarized Knowledge Graph Embeddings (2019)
  • Author(s): Koki Kishimoto, Katsuhiko Hayashi, Genki Akai, Masashi Shimbo, Kazunori Komatani
  • Organizer: 41st European Conference on Information Retrieval
  • Int'l Joint Research
• [Presentation] 知識グラフ埋め込みのための二値化CP分解 (2019)
  • Author(s): 岸本広輝, 林克彦, 赤井元紀, 新保仁, 駒谷和範
  • Organizer: 言語処理学会第25年次大会
• [Remarks]
  • URL: http://web.wakayama-u.ac.jp/~sakama
• [Remarks] Computing Logic Programming Semantics
  • URL: http://web.wakayama-u.ac.jp/~sakama/abst/miwai2018.html
• [Remarks] Partial Evaluation of Logic Programs
  • URL: http://web.wakayama-u.ac.jp/~sakama/abst/aspocp2018.html
• [Remarks] Abducing Relations in Continuous Spaces
  • URL: http://web.wakayama-u.ac.jp/~sakama/abst/ijcai2018.html