2020 Fiscal Year Annual Research Report
Matrix Factorization-based Efficient Learning for Neural Networks
| Project/Area Number |
18K11457
|
|---|
| Research Institution | Gunma University |
|---|
Principal Investigator |
林 克彦 群馬大学, 社会情報学部, 准教授 (50725794)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高瀬 翔 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, リサーチアソシエイト (40817483) [Withdrawn]
上垣外 英剛 東京工業大学, 科学技術創成研究院, 助教 (40817649) [Withdrawn]
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | テンソル分解 |
|---|
| Outline of Annual Research Achievements |
知識グラフの補完問題とは知識グラフ中の欠損事実や誤りを検出するタスクである。この問題を対象として、テンソル分解モデルをバイナリ化することで軽量化・高速化する研究を行った。モデルパラメータは全て-1か1の1ビットで表現されるため、軽量であり、モデル計算はビット演算を使って高速に行うことができる。この成果は2021年4月に国際論文誌IEEE Transactions on Knowledge and Data Engineeringへの採録が決定した。
また、期間中は上記モデルの学習に用いる損失関数に関する理論的・実験的な分析も行った。近年では、学習にソフトマックス損失や負例サンプリングが用いられるが、これらの損失関数間の関係性についいて、理論的な分析を行った。この成果は2021年3月に言語処理学会第27回年次大会で委員特別賞、2021年5月に国際会議ACL21への採録が決定している。
期間中ではさらに、ストカスティック計算に基づくニューラルネットワーク設計の予備調査を行い、本課題の研究成果を次のプロジェクトへと引き継ぐ準備も進めた。
|
