| 研究実績の概要 |
共変なニューラルネットワークを自己教師付き学習と組み合わせることにより、不変性の事前知識を活用しつつデータからの特徴学習を行う手法を提案した。自己教師付き学習はデータに関する事前知識を用いて人手で疑似的な教師ラベルや損失関数を設計し、その損失関数を用いて学習することにより教師無しで優れた特徴抽出器を獲得する枠組みであり、同じく事前知識を用いて高性能なモデル構造を得る共変なニューラルネットワークと組み合わせることにより更なる性能向上が期待される。
組み合わせる時に困難な点として、共変なニューラルネットワークは共変な関数しか表現できないため自己教師付き学習でターゲットとするタスクや損失関数も共変な関数により最適化できるように設計する必要がある。
我々はそのようなタスクとして、教師ラベル集合が入力画像の変換に対して共変になるラベル予測タスクであるequivariant pretext labelsと各々の入力に変換をかけても損失の値が変わらない損失関数であるinvariant contrastive lossを提案した。
提案するequivariant pretext labelsを自己教師付きタスクであるcontext predictionやsolving jigsaw puzzleタスク、invariant contrastive lossを高性能なcontrastive lossであるMomentum Contrast, SwAV, SimSiamに適用し、提案損失により共変なモデルをより精度よく学習できることを確かめた。
|
