평균값이 실제 차이를 가릴 때

이미지 생성 파이프라인 두 개를 정면으로 비교해 봤다. 같은 프롬프트 5개, 시드 6개씩, 총 60장을 뽑았다. 이 결과를 직접 눈으로 판정했다 — 짝을 지어 승부를 매기는 방식이라 이미지 수와 판정 횟수가 정확히 일치하진 않지만, 대략 59번의 대결을 거쳤다. 결과는 28승 23승 8무. 사실상 무승부였다. 여기서 멈췄다면 “두 파이프라인 사이에 유의미한 차이는 없다”고 적었을 것이다.

그런데 같은 결과를 주제별로 나눠보니 완전히 다른 그림이 나왔다. 한 주제(흐린 날의 어부)에서는 한쪽이 12전 12승. 다른 주제(역광의 능선)에서는 반대쪽이 15판 중 14승. 정반대 방향의 두 압승이 평균 속에서 서로를 지워버리며 “무승부”처럼 보이게 만든 것이다. 진짜 발견은 “어느 쪽이 더 나은가”가 아니라 “어떤 장면에 어느 쪽이 맞는가”였고, 그 사실은 하나의 평균 점수로는 절대 보이지 않는다.

AI를 판정자로 세워봤더니

사람이 일일이 비교하는 건 확장성이 없어서, 로컬에서 돌아가는 80억 파라미터급 비전 모델을 자동 판정자로 세워봤다. 내부 지표는 건강해 보였다 — 같은 쌍을 두 번 보여줘도 77%의 확률로 같은 답을 냈고, 자기모순도 없었다.

그런데 이 “일관성”이 문제였다. 80번의 판정 중 63번을 한쪽 파이프라인에게 몰아줬고, 무승부는 단 한 번도 없었다. 주제를 가리지도 않았다 — 사람이 정반대로 판정했던 장면에서도 마찬가지였다. 내가 직접 매긴 20개 쌍을 이 모델에게 다시 채점시켜 봤더니, 일치율은 50%. 동전 던지기와 다르지 않았다. 항상 같은 답을 내놓는 판정자는 자기모순도 없고 일관성도 높게 나온다 — 일관성이 높다는 것이 판단이 정확하다는 뜻은 아니다. 이 모델이 댄 이유도 “구도가 더 자연스럽다”, “조명이 좋다” 같은 모호한 표현뿐, 손 모양이나 글자 깨짐 같은 구체적 결함을 지목한 경우는 거의 없었다.

더 큰 270억 파라미터 모델로 바꿔봐도 크게 다르지 않았다. 편향은 살짝 줄었지만, 사람의 판정과 일치하는 비율은 오히려 더 낮아졌다. 모델 크기가 답이 아니었다.

질문을 바꾸자 모델이 도망갔다

다음으로 질문 방식을 바꿔봤다. “둘 중 하나를 고르라”가 아니라 “결함을 먼저 짚고, 그다음 고르라”고 시켰다. 그러자 20판 중 15판(75%)이 “둘 다 비슷하다”로 후퇴했다. 실제로 결함을 짚어내긴 했다 — 그런데 짚어놓고도 판단을 내리지 않고 물러섰다. 없는 것을 증명하라는 식의 질문은 모델을 판단이 아니라 회피로 이끈다는 걸 다시 확인한 셈이다.

이번엔 더 큰 프론티어급 모델에게 같은 방식으로 여섯 쌍을 물었다. 여섯 중 넷이 내 판정과 일치했고, 근거도 실제 결함을 구체적으로 짚었다. 이 결과가 앞선 진단을 뒤집었다 — 작은 모델이 고장 난 게 아니라, 판단을 회피해도 되는 질문 구조가 문제였던 것이다.

정리

두 파이프라인은 서로 다른 축에서 이겼다. 손·해부·사물 논리 같은 기술적 정확성은 한쪽이 꾸준히 앞섰고, 빛·분위기·질감 같은 전체적인 느낌은 다른 쪽이 특정 장면에서 크게 앞섰다. 이 둘을 하나의 점수로 합치는 순간 이 차이는 사라진다 — 축을 나눠서 봐야 실제로 무슨 일이 일어났는지가 보인다.