Landmark Detection (PFLD)

• Face Landmark Detetction (F.L.D)
  얼굴의 눈썹, 눈코입의 특징점, 얼굴형의 특징점들을 검출해서 위치를 특정해주는 알고리즘이다. 예를 들어 SNOW 어플의 다양한 필터로 표정, 얼굴 기울임 등을 알 수 있음을 확인할 수 있다.

 

1. Local Variation
   표정, 빛 등에 따라 Landmark가 잘못 잡히거나 사라지게 된다.
2. Global Variation
   Pose, 이미지 화질, 흔들림에 의해 F.L.D 성능이 낮아지기도 한다.
3. Data Imbalance
   표정, 빛 등에 따른 데이터들이 다양하지 않다. 데이터가 불균형하다.
4. Model Efficiency
   Model size와 Computing이 중요하다.

 

---

• PFID는?
  A Practical Facial Landmark Detector의 약자로, 실생활에서 사용하는 Face Landmark Detector를 의미한다.
  • 실제 환경에서도 핸드폰에서 Super real time speed로 (ex.140fps) Face Landmark Detection(F.L.D)이 가능하다.
  • End to End Single stage network를 사용한다.
  • Trainig하는 동안 하나의 보조 네트워크를 두고 Rotation information을 측정해 F.L.D 성능을 높인다.
  • Loss는 Geometrical regularization을 고려하고 다양한 포즈, 빛 등 샘플 가중치를 조정하는 Data imbalance문제를 해결할 수 있는 특징을 갖고 있다.
  • Challenging benchmarks에서는 State-of-the-art 성능을 보인다.

CNN(Convolutional Neural Network)
CNN은 컴퓨터 비전에 사용되는 신경망 아키텍처이다. 입력된 이미지에 대해 합성곱 연산(컨볼루션)을 수행해 이미지의 특징을 추출하고 이를 통해 전체 이미지를 이해하고 분류하는데 사용된다.

*Convolution (합성곱) 입력 이미지에 대해 작은 필터(커널)를 적용해 특징을 감지한다. 이를 통해 이미지의 공간적인 구조를 파악할 수 있다.

 

 

 

• Mobilenet - Main network backbone
  모바일, 경량 환경에서 사용하기 위한 CNN 아키텍처이다. 작은 모델 크기와 높은 성능을 제공하는 것이 목표이다.
  
  

1. Depthwise Seperable Convolutions (Depthwise Convolution + Pointwise Convolution)
   • 깊이별 분리 합성곱
   • 기존의 합성곱을 분리해서 효율적으로 계산량을 줄인다.
2. Linear Bottlenecks
   • 비선형 활성화 함수를 적용하기 전에 선형 변환을 수행하는 것
   • 기존 비선형 함수(ReLU)는 정보 손실을 발생시킨다. 채널 수가 적은 레이어에서는 선형 함수를 사용한다.

 

3. Inverted Residuals

• narrow - wide - narrow 형태
• 메모리 사용량을 줄일 수 있다.

 

4. ReLU6

• 딥러닝 모델 최적화에 좋은 활성화 함수
• 기존 ReLU는 0보다 크면 y=x로 표현을 했다. ReLU6의 경우 x가 6이상인 곳은 6이라는 상한선을 준다. (max 6)