같은 얼굴인데 점수가 다른 이유: 얼굴 스캔 도구 비교

결론부터

같은 사진을 두 개의 얼굴 스캔 앱에 넣고 20점 차이가 나는 건 흔한 일입니다. 둘 다 고장 난 게 아닙니다. 점수는 당신 얼굴의 속성이 아니라 파이프라인의 출력이고, 파이프라인의 모든 단계에는 선택지가 있습니다. 선택지가 바뀌면 숫자도 바뀝니다.

차이의 대부분을 만드는 건 세 가지입니다. 얼굴의 어떤 점을 재는지, 그 측정값을 무엇으로 나누는지, 그리고 나온 비율을 앱 자기 자의 어디에 놓는지. 여기에 네 번째가 있는데, 이건 앱이 화면을 받기도 전에 일어납니다.

1. 재는 점이 서로 다르다

얼굴 파이프라인은 랜드마크 체계 위에 서 있고, 체계끼리는 호환되지 않습니다.

• 68점 — dlib과 초기 OpenCV의 고전 배치. 턱 윤곽, 두 눈썹, 콧대와 코밑, 두 눈 윤곽, 입술 안팎 선.
• 98점 — WFLW 주석 체계. 발상은 같지만 눈가와 입술 윤곽이 더 촘촘합니다.
• 468점 — MediaPipe Face Mesh. 볼과 이마까지 포함해 얼굴 전체를 덮는 조밀한 메시.
• 478점 — 같은 메시에 홍채 점 10개(눈당 5개)를 더한 것.

이게 어디서 드러나냐면, 코 너비입니다. 68점에는 콧방울 두 점과 그 사이 거리 하나뿐입니다. 468점 메시에는 코 주변에 후보 쌍이 여러 개 있고, 공식이 어느 쌍을 고르느냐에 따라 몇 퍼센트가 달라집니다. 턱 너비도 같습니다. 조밀한 메시의 가장 바깥 볼 점은 68점 체계의 턱 모서리와 해부학적으로 다른 위치입니다. 두 앱이 둘 다 정직하게 "턱 너비"라고 적어 놓고 얼굴의 다른 구간을 재고 있을 수 있습니다.

점이 많다고 더 정확한 건 아닙니다. 메시가 촘촘할수록 공식의 선택지가 늘고, 옆 도구와 어긋날 여지도 늘어납니다.

2. 비율에는 분모가 필요하고, 그 분모가 다르다

픽셀 거리는 그 자체로 의미가 없습니다. 해상도, 카메라와의 거리, 크롭에 따라 달라지니까요. 그래서 모든 도구는 원래 거리를 무언가로 나눠 비율로 만듭니다. 흔한 분모는 네 가지입니다.

두 앱이 완전히 같은 코 너비를 재고도, 하나는 광대뼈 너비로 나누고 다른 하나는 바운딩 박스로 나누면 "코 너비 비율"이 달라집니다. 바운딩 박스에 머리카락이 들어가면 분모가 커지고 모든 비율이 일제히 작아집니다. 얼굴에는 아무 변화가 없는데 점수 전체가 떨어지는 이유가 이것입니다.

구분법은 간단합니다. 머리 모양을 바꾸면 숫자가 움직이고 표정을 바꿔도 안 움직이면, 십중팔구 바운딩 박스를 분모로 씁니다.

3. 학습 데이터는 중립적이지 않다

랜드마크 모델은 주석이 달린 사진에서 배웁니다. 어떤 사진으로 배웠는지가 어떤 얼굴에서 정확한지를 결정합니다. 구글이 공개한 Face Mesh 설명에는 학습 세트가 약 3만 장이라고 적혀 있습니다. 정확한 구성과 무관하게, 모든 집단을 똑같이 대표하는 데이터셋은 없습니다. 이 분야에서 알려진 약점도 일관됩니다. 극단적인 머리 각도, 어두운 조명, 안경·수염·머리카락에 의한 가림, 그리고 주석에 적게 등장하는 피부 톤입니다.

실제로는 눈에 보이지 않는 오차로 나타납니다. 턱 모서리가 2~3픽셀 어긋나도 미리보기에서는 알 수 없지만, 비율로 바꾸면 확실한 변화입니다. 그 비율은 나중에 0~100으로 매핑되고 기울기가 꽤 가파릅니다. 입력의 작은 오차가 출력의 큰 차이가 됩니다.

같은 앱, 같은 사람인데 조명만 바꿔도 점수가 달라지는 것도 같은 이유입니다. 기분이 아니라 검출기의 확신도가 움직이는 겁니다.

4. 모델이 돌기 전에 화면은 이미 한 번 가공된다

대부분의 스마트폰 카메라는 앱이 프레임을 받기 전에 처리를 끝냅니다. 피부 보정, 톤 매핑, 기기에 따라선 얼굴형 보정까지. 결과는 두 가지입니다.

첫째, 피부 보정은 랜드마크가 윤곽을 찾는 데 쓰는 텍스처 그라디언트를 지웁니다. 입술 선, 쌍꺼풀 주름, 콧방울 옆. 랜드마크가 흔들리기 시작합니다.

둘째, 얼굴형 보정은 기하 자체를 바꿉니다. 모델은 보정된 얼굴을 재고, 그것도 정확하게 잽니다. 일은 잘하고 있는데 입력이 당신이 아닌 것입니다.

원본 카메라 버퍼를 읽는 앱과 이미 처리된 미리보기를 읽는 앱은 알고리즘이 같아도 결과가 어긋납니다.

5. 마지막 단계는 측정이 아니라 설계다

랜드마크도 같고 분모도 같아도 숫자는 여전히 다릅니다. 비율을 점수로 바꾸는 일이 설계 결정이기 때문입니다. 흔한 형태는 비율 r을 최솟값과 최댓값 사이로 자르고 0~100으로 선형 매핑하는 것입니다. 끝점을 옮기면 모든 점수가 따라 옮겨갑니다.

A 도구의 70점은 "범위 중간, 평균보다 조금 위"일 수 있습니다. B 도구의 70점은 자기 표본의 상위 10%일 수 있습니다. 끝점은 외부 기준에 맞춰져 있지 않고, 개발자가 가진 수백 장에서 분포가 그럴듯해 보이도록 고른 값입니다.

그래서 절대 점수는 앱 사이에서 비교할 수 없습니다. 순위는 조금 낫지만, 그것도 비슷한 얼굴들 사이에서만 통합니다.

집에서 실제로 돌려볼 수 있는 비교

요령은 자기 자신을 변수에서 빼는 것입니다. 인화한 사진은 물리적 상수입니다. 기하도 조명도 매번 같습니다.

1. 정면의 선명한 인물 사진을 한 장, 무광 용지에 높이 15센티미터 정도로 인화합니다.
2. 벽에 눈높이로 붙입니다. 스탠드 하나를 정면에서 비추고 커튼을 닫습니다.
3. 각 도구로 그 인화물을 스캔합니다. 10분 간격으로 두 번, 두 숫자를 모두 기록합니다.
4. 실제 셀카로 같은 과정을 반복합니다. 거리 60센티미터, 렌즈는 눈높이, 필터는 끕니다.
5. 표를 만듭니다. 도구, 인화물 점수, 셀카 점수, 차이.

표를 읽는 법.

• 인화물은 안정, 셀카는 출렁임 — 그 도구는 입력에 민감하고 얼굴에 민감한 게 아닙니다. 분산은 조명과 자세에서 옵니다.
• 같은 도구에서 인화물과 셀카가 크게 다름 — 전처리가 무겁습니다. 인화물에는 보정할 피부 텍스처가 없으니 두 입력은 등가가 아닙니다.
• 인화한 얼굴 다섯 장에서 두 도구의 순위가 일치 — 다른 자로 비슷한 것을 재고 있습니다.
• 순위가 뒤집힘 — 재는 대상이 다르고, 라벨이 둘러맞추고 있는 것입니다.

얼굴 다섯 장으로 순위를 비교하는 것이 자의 차이를 넘어설 수 있는 유일한 방법입니다. 절대값은 통하지 않지만 순위는 가끔 통합니다.

흔들림이 주로 내 쪽에서 온다면 입력부터 고정하세요. 셀카 각도 가이드는 거리, 렌즈 높이, 빛을 다룹니다. 얼굴형 분석기는 같은 사진을 두 번 연속 넣어 같은 파이프라인이 자기 자신과 모순되는지 보는 데 적합합니다.

그럼 받은 점수를 어떻게 볼까

위 이야기는 테스트를 덜 재미있게 만들지 않습니다. 읽을 수 있게 만들 뿐입니다. 두 앱이 당신 얼굴에 대해 다른 의견을 낼 때, 그 불일치는 앱에 관한 사실입니다. 랜드마크, 분모, 학습 세트, 자. 당신에 관한 사실이 아닙니다. 스크린샷을 진지하게 대하기 전에 알아둘 만합니다.

자주 묻는 질문

같은 사진인데 왜 앱마다 점수가 다른가요?

랜드마크 체계가 다르고, 같은 비율에 다른 분모를 쓰고, 학습 데이터가 다르고, 최종 자의 끝점도 다릅니다. 어느 하나만으로도 10점은 움직입니다.

점수가 높은 쪽이 더 정확한가요?

아닙니다. 맞춰 볼 정답 자체가 없습니다. 높은 점수는 보통 자의 기준점이 낮다는 뜻이거나, 공식이 마침 당신의 특징을 후하게 평가한 것입니다.

랜드마크는 몇 점짜리가 가장 정확한가요?

하나로 답할 수 없고 과제에 달렸습니다. 68점은 검증이 잘 되어 있고 가볍고, 468점이나 478점은 조밀한 커버리지로 형태 분석에 맞습니다. 정확도는 점 개수보다 학습 세트와 촬영 조건의 일치에서 나옵니다.