사진을 서버로 보내지 않고 얼굴을 비교하는 방법

사진을 올리는 게 왜 조금 불안할까요

얼굴 사진은 다른 사진보다 조심스러워요. 풍경 사진이야 누가 봐도 큰일이 아니지만, 얼굴은 나를 알아볼 수 있는 정보니까요. 그래서 "사진 두 장을 올리라"는 서비스를 보면 이 사진이 어디로 가는지, 저장되는 건 아닌지 먼저 궁금해져요.

사진 속 얼굴을 분석하는 방법은 크게 두 가지로 나눌 수 있어요. 하나는 사진을 인터넷으로 서버(서비스를 운영하는 쪽의 컴퓨터)에 보내고, 서버가 분석해서 결과만 돌려주는 방식이에요. 클라우드 얼굴 분석 서비스(API)처럼 이 방식을 쓰는 서비스도 있어요. 다른 하나는 사진을 서버로 보내지 않고, 내가 쓰는 폰이나 컴퓨터 안에서 분석까지 마치는 방식이에요. 두 방식의 가장 큰 차이는 사진이 어디로 가느냐예요.

재미로봄의 닮은꼴 테스트 닮았네는 두 번째 방식이에요. 이 글에서는 사진이 내 기기 안에서 어떤 과정을 거쳐 "눈은 이만큼 닮았어요"라는 결과가 되는지, 그리고 이 방식의 좋은 점과 아쉬운 점을 정리해 볼게요.

사진을 올린 뒤 일어나는 일

사진을 고르면 내 기기에서는 이런 일이 차례로 일어나요. 분석에는 누구나 무료로 쓸 수 있게 공개된 오픈소스 얼굴 분석 라이브러리(face-api 계열)를 써요. 라이브러리는 누군가 미리 만들어 공개해 둔 계산 도구를 가리키는 말이에요.

1. 사진을 기기 안에서 열어요. 선택한 사진 파일은 인터넷으로 전송되지 않고, 브라우저가 내 기기 메모리에서 바로 열어요. 이때 쓰이는 건 내 기기 안에서만 통하는 임시 주소예요.

2. 큰 사진은 줄여요. 요즘 폰 사진은 크기가 아주 커서 그대로 들고 있으면 메모리를 많이 써요. 얼굴 분석에는 긴 변이 1600픽셀이면 충분해서, 그보다 큰 사진은 분석 전에 줄여요. 폰 브라우저가 메모리 부족으로 페이지를 새로 고치는 일을 막으려는 조치예요.

3. 얼굴이 동그라미 안에 오도록 맞춰요. 전신 사진처럼 얼굴이 작게 나온 사진은 드래그로 옮기고 확대할 수 있어요. 화면에 보이는 정사각형 영역이 그대로 분석에 쓰여서, 내가 눈으로 확인한 부분과 컴퓨터가 분석하는 부분이 같아요. 한 사진에 얼굴이 여럿이면 어느 얼굴을 비교할지 직접 골라요.

4. 얼굴을 찾아요. 먼저 가벼운 얼굴 찾기 모델로 사진 속 얼굴의 위치를 찾아요. 아기 사진이나 고개가 돌아간 사진, 일부가 가려진 얼굴 등은 가벼운 모델이 놓칠 수 있어요. 이럴 때만 더 무겁지만 더 꼼꼼한 예비 모델을 불러서 한 번 더 시도해요.

5. 점 68개와 숫자 128개로 바꿔요. 얼굴을 찾으면 눈꼬리, 눈썹, 콧대, 입술 윤곽, 턱선 같은 정해진 위치에 특징점 68개를 찍어요. 이와 별개로 얼굴 전체의 느낌을 128개의 숫자 묶음(특징 벡터)으로 요약해요. 얼굴의 지문 같은 것으로, 비슷하게 생긴 얼굴일수록 이 숫자의 묶음이 서로 가까워요.

6. 두 얼굴을 비교해요. 점으로 눈·눈썹·코·입·턱선의 모양과 이목구비 배치 간격을 재서 부위별로 비교하고, 128개 숫자 사이의 거리도 계산해요. 전체 닮은 정도는 특징 벡터 유사도 45%와 부위 평균 55% 를 섞어서 만들어요. 부위별 계산이 궁금하다면 닮은꼴은 어떻게 판단할까?에 쉽게 풀어 두었어요.

이 모든 단계가 내 기기 안에서 일어나요. 서버에는 사진도, 분석 결과도 보내지 않아요.

처음에 로딩이 있는 이유

얼굴을 찾고 점을 찍고 숫자로 요약하는 일은 미리 학습해 둔 모델이 해요. 모델은 아주 많은 얼굴 사진으로 "얼굴은 이렇게 생겼다"를 미리 익힌 계산 규칙을 파일로 저장해 둔 것이라고 생각하면 돼요. 이 모델 파일이 내 기기 안에 있어야 분석을 할 수 있어요.

그래서 처음 한 번은 모델 파일을 받아 와야 해요. 이 사이트는 페이지를 열면 브라우저가 한가할 때 뒤에서 미리 받아 두는데, 크기는 약 7MB 예요. 사진 몇 장 정도의 용량이라 와이파이에서는 금방이지만, 모바일 데이터로 처음 접속했다면 데이터가 조금 쓰일 수 있어요. 얼굴을 못 찾았을 때만 쓰는 예비 모델 파일은 약 5.6MB 로 따로 있고, 평소에는 받지 않다가 필요할 때만 받아요. 한번 받은 파일은 브라우저가 기억해 두는 경우가 많아서 다음부터는 대체로 더 빨라요.

여기서 중요한 구분이 있어요. 내려오는 것은 모델 파일뿐이고, 사진이나 분석 내용이 올라가는 것은 없어요. 사이트에서 내 기기로 '얼굴 분석 규칙'이 내려와서, 내 기기가 내 사진을 직접 분석하는 거예요.

서버로 보내지 않을 때의 좋은 점

• 사진이 서버로 전송되지도, 서버에 저장되지도 않아요. 분석하는 동안 내 얼굴 사진은 내 기기 안에만 있고, 결과 화면에 쓰는 작은 사진도 그 탭 안에만 잠시 있다가 새로고침하거나 창을 닫으면 사라져요. 한 가지 예외가 있어요. 결과 화면의 공유 버튼으로 결과 카드를 보내면 그 카드는 내가 고른 앱으로 전달돼요. 카드에는 작은 사진이 들어갈 수 있으니 보내기 전에 한 번 확인해 보세요. 버튼을 누르지 않는 한 사진은 밖으로 나가지 않아요. (자세한 내용은 개인정보처리방침에 적혀 있어요.)
• 다른 사람의 사진도 서버에 남지 않아요. 다만 사진 속 사람의 동의를 구하고 올리는 일은 기술과 별개이고, 다른 사람의 사진을 쓰는 책임은 사용자에게 있다는 점은 이용약관에 안내돼 있어요.
• 운영도 가벼워요. 분석을 서버가 하지 않으니, 사용자가 늘어도 얼굴 분석 때문에 서버 부담이 커지지 않아요.

아쉬운 점도 있어요

• 처음 로딩이 있어요. 앞에서 말한 모델 파일을 처음 한 번 받아야 해요. 인터넷이 느리면 시간이 더 걸려요.
• 기기 성능을 타요. 분석을 내 기기가 직접 하기 때문에, 오래된 폰이나 메모리가 부족한 기기에서는 더 느리거나 불안정할 수 있어요. 사진을 줄여서 분석하는 것도 그 부담을 덜기 위해서예요.
• 가벼운 모델이라 정밀도에 한계가 있어요. 서버에서는 크고 무거운 모델을 쓸 수 있지만, 내 기기에서 돌리려면 파일이 작고 가벼워야 해요. 그래서 점수는 재미용 결과일 뿐이에요. 같은 계열의 기술이 본인 확인 같은 진지한 용도에도 쓰이지만, 그런 용도는 훨씬 엄격한 기준으로 따로 검증해서 쓰는 것이고, 이 사이트의 점수는 그런 정확도를 보장하지 않아요. 같은 사람이라도 표정과 각도, 조명에 따라 점수가 달라질 수 있어요. 안정적인 결과를 위한 사진 고르는 요령은 닮았네, 이런 사진으로 하면 결과가 잘 나와요에 있어요.

어느 쪽이 무조건 낫다고 하기는 어려워요. 재미 삼아 가볍게 즐기는 닮은꼴 테스트에는 사진이 기기를 떠나지 않는 쪽이 더 어울린다고 보고 이 방식을 골랐어요.

그래도 '아무것도 오가지 않는다'는 뜻은 아니에요

한 가지 정확히 해 둘 게 있어요. "사진을 서버로 보내지 않는다"는 말은 사진과 분석 결과에 대한 이야기이고, 사이트에 접속하는 것 자체가 아무 기록도 남기지 않는다는 뜻은 아니에요. 웹사이트를 열면 페이지와 모델 파일을 내려받아야 하고, 서버 접속 기록이 남을 수 있어요. 이 사이트의 개인정보처리방침에는 접속 기록과 쿠키, 광고 서비스와 이용 통계 도구의 사용이 항목별로 안내돼 있어요. 이 사이트는 '결과 화면까지 본 사람이 몇 명인지' 같은 횟수만 익명으로 집계하고, 사진이나 분석 결과는 담지 않아요. 같은 원칙이 개인정보처리방침에도 적혀 있어요.

직접 확인해 보고 싶은 분을 위한 방법도 있어요. PC 크롬 브라우저에서 키보드 F12를 눌러 개발자 도구를 열고 '네트워크(Network)' 탭을 선택한 다음, 먼저 페이지를 새로고침(F5) 하세요. 그러면 모델 파일을 받아 오는 요청이 목록에 보여요. 그 상태로 사진을 올리고 결과를 본 뒤 목록을 살펴보면, 사진 내용이 담겨 나가는 요청은 없어야 해요. 광고나 방문 통계 같은 다른 요청이 함께 보일 수 있는데, 그건 사진과 관계없는 것들이에요. 얼굴을 못 찾아서 예비 모델 파일을 받아 오는 요청이 하나 더 생길 수도 있어요. 다만 이건 개발자 도구를 볼 줄 아는 분께 권하는 방법이고, 모르는 분이 일부러 확인하지 않아도 괜찮아요.

어디에 쓰이고 있을까

이 방식은 닮은꼴 테스트뿐 아니라 얼굴 사진을 쓰는 관상 기능에도 같은 원칙으로 쓰여요. 관상 기능도 사진을 브라우저 안에서만 분석하고, 서버로 전송하거나 저장하지 않아요.

사진을 서버로 보내지 않는다는 건, 분석하는 동안 내 얼굴이 내 기기 안에 머문다는 뜻이에요. 결과 카드를 공유할지는 내가 직접 고르는 일이고요. 가볍게 해 보고 싶다면 닮은꼴 테스트에서 가족이나 친구, 반려동물 사진을 비교해 보세요. 점수가 잘 안 나온다고 신경 쓸 필요는 없어요. 재미로 보는 결과니까요.