Machine learning problems as retrieval in high dimensional space

2022 Fiscal Year Final Research Report

• Project/Area Number: 19H04173
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Chiba Institute of Technology
• Principal Investigator: SHIMBO Masashi 千葉工業大学, 人工知能・ソフトウェア技術研究センター, 主席研究員 (90311589)
• Co-Investigator(Kenkyū-buntansha): 重藤 優太郎 千葉工業大学, 人工知能・ソフトウェア技術研究センター, 主任研究員 (50803392)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 近傍検索 / 知識グラフ / 表現学習 / 事前学習 / 非相関化

Outline of Final Research Achievements

The main results in this project are as follows:
(1) Improvement of knowledge graph embedding. Specifically, we pointed out that the existing models for knowledge graph embedding are unsuitable for queries called "path queries," and proposed a model that overcome this shortcoming. Also, to reduce memory usage during inference, we proposed a binary quantization method for knowledge graph embedding.
(2) We pointed out that the recent non-contrastive learning models for image representation are inefficient for high-dimensional embeddings, and proposed a scalable alternative that removes this drawback while maintaining downstream accuracy.

Free Research Field

知能情報学

Academic Significance and Societal Importance of the Research Achievements

多くのニューラルネットの応用分野において, 外部知識を, 知識グラフとして表現して活用する手法が多く提案されており, 我々の成果はこういったアプローチの補助となる. 表現学習に関する提案法は, スケーラブルな特徴量非相関化法であるが, これは画像のみならず多様なデータの表現学習にもほぼそのまま適用可能である. また, 提案法は特徴量の非相関化が必要な表現学習以外のタスクにも広く用いることができる.