| Outline of Annual Research Achievements |
2022 年度は, 効率的な自己教師あり表現学習法に関する成果を得た.
従来, 画像の表現学習では, 対照学習による手法が主流であったが, 損失計算にサンプル数の2乗オーダーの計算時間を要する. 2021-2022 年にかけて, 対照学習を用いず, かわりに埋め込み表現を構成する特徴量を正則化を用いて非相関化する手法が発表され注目を集めた. しかしながら, これらの新手法において, 損失の計算時間はたしかにサンプル数に対して線形オーダーにすぎないが, 一方で, 埋め込み次元数 d に対して 2 乗オーダーの依存性が生じている (対照学習法の d への依存は線形にすぎない). この依存性は, 大きさ d x d の相関行列に基づいて正則化項が定義されていることに起因する.
われわれはこの問題に対処するため, 新しい非相関化正則化関数を開発した. 相関行列の個々の要素を制約するのではなく, それらの d 個の和について制約を加える. 先行研究より正則化の効果は緩いが, FFT アルゴリズムを使うことで, 計算時間の次元数 d への依存性を O(d log d) に改善できる. また, 提案正則化の緩さは, SGD に類する逐次学習の過程で, 特徴量をシャッフルすることで克服できることを示した.
複数の標準的ベンチマークタスクを用いた検証実験の結果, 従来法に対して, 条件の悪い場合で 1.2 倍, 条件の良い場合は 3-5 倍もの速度向上が見られ, 下流タスク・転移学習における精度も従来法と遜色なかった.
本研究成果を, 画像処理の最高峰の国際学会である CVPR に投稿し, 採択が決定している. 2023 年 6 月に発表の予定である.
|
