양자화된 모델은 보지 못했다

로컬 언어 모델을 맥에서 돌리며 어떤 빌드가 디스크 용량을 차지할 자격이 있는지 계속 갈아치우고 있다. 그 주에 비전 담당 자리의 새 후보 둘을 받았다 — 평범하게 압축된 90억 파라미터 빌드 하나와, 270억 파라미터 모델을 더 공격적으로 압축한 4비트 변종 하나였다. 후자는 용량은 작아도 여전히 볼 수 있을 거라는 기대를 안고 들어왔다.

아무것도 돌려주지 않은 벤치마크

새 비전 후보마다 돌리는 4자 대결 테스트가 있다 — 사진 두 장, 같은 코드 경로, 같은 질문. 네 모델 중 세 모델은 정상적으로 답했다 — 표정·캡션·세부 묘사까지 전부 맞게 읽었다. 4비트 빌드만 두 장 모두에 대해 “이미지가 제공되지 않았다”고 답했다. 요청의 다른 부분은 아무것도 바뀌지 않았다. 같은 코드, 같은 이미지 두 장, 같은 호출 형태였다.

이미지를 픽셀에서 토큰 공간으로 옮기는 다리 역할, 이른바 비전 프로젝터가 그 압축 단계를 버티지 못했다. 반면 그 주위의 언어 모델 부분은 멀쩡했다 — “아무것도 못 받았다”는 문장을 유창하게 만들어낼 수 있었다는 게 그 증거다.

이미 한 번 본 패턴의 확인

이건 놀라운 일이라기보다 확인에 가까웠다. 다른 대안 빌드에서도 이미 다른 이유로 같은 방식으로 실패한 적이 있었고, 이번이 그 두 번째 사례였다. 빌드는 겉으로 완전해 보여도 그 안의 다리가 조용히 끊겨 있을 수 있다.

남긴 것

4비트 빌드는 16GB를 차지하고 있었고, 비전이 안 되는 이상 유지할 이유가 없어 삭제했다. 순수 텍스트 디코드 속도만 놓고 보면 4비트 양자화가 표준 4비트(q4_K_M)보다 빨랐다(14.8 대 12.6 토큰/초) — 하지만 비전이 안 되면 이 자리에는 쓸모가 없었다.

그 자리에서 실제로 승자가 된 건 90억 파라미터의 표준 4비트 빌드였다. 6.6GB로 가장 작고, 콜드 스타트 2.3초, 디코드 속도 37.9토큰/초로 가장 빨랐고, 비전도 정상이었다. 품질도 기존 모델과 대등했다. 다만 답이 장황해서 벽시계 시간(wall time)은 길어 보이는 착시가 있었다 — 속도 자체는 빨랐다. 경량급은 귀하다는 판단 아래, 저지연에 강한 기존 모델과 이 초소형 모델을 둘 다 남겨두기로 했다.