ALIKED: A Lighter Keypoint and Descriptor Extraction Network via Deformable Transformation

Abstract

Keypoints와 descriptor를 뽑는 것 기존의 문제는 geometric invariance를 제공하지 않는다는 점. 이것은 Sparse Deformable descriptor Head를 이용한다. sparse 하기 때문에 efficient하다.  Neural Reprojection Error(NRE) loss를 써서 dense한 것에서 sparse 하게 한다.

Introduction

	Hand crafted method, Map-based methods(score map, descriptor map) 등이 있음. Map based는 geometric invariance가 부족함. 따라서 affine transformation은 되는데, geometric transformation은 못함. Deformable convolution network는 가능한데, 느리다.
	Sparse Deformable Descriptor Head(SDDH)를 제안 deformable descriptors를 추출함. ALIKED 네트워크로 visual measurement를 함.

 

Method

 

 

캡션 내용을 요약해보자면, 

1. 이미지는 여러 multi-scale features로 인코딩 된다.

2. multi-scale feature은 upsample blocks과 함께 aggregated 된다.

3. Score Map Head(SMH)는 score map을 추출하고, Differentiable Keypoint Detection(DKD) module로 keypoint를 찾는다.

4. SDDH는 효과적으로 deformable invariant descriptor를 추출한다.

 

여기서 잘 모르겠는 것은 Score map이 뭘까... 

	별 내용 없네.. 1. 이미지를 multiscale로 encoding함 2. 1번을 aggregate함 3. 2번을 Score map head로 score map을 estimate함. 그리고 Differentiable Keypoint Detector로 differentiable keypoint 찾음.
	여기서는 deformable invariant descriptor의 모델링이 나온다.

 

읽다보니 그만 읽어도 될거 같아서 그만둡니다ㅠㅠ

그냥 ALIKED라는 것이 Keypoint와 Descriptor Extraction 모델이라는 것만 알고 갑니다.