쉬운 벤치마크에는 승자가 없었다

로컬 비전 모델 세 개를 비교하면서, 처음에는 파라미터가 가장 많은 모델을 최선이라고 판단했다. 기존에 쓰던 이미지 세 장을 무난하게 설명했기 때문이다. 그런데 새로 시험한 두 모델도 같은 테스트를 통과했다. 모두 통과하는 시험 결과로 순위를 매겼던 셈이다.

이미지는 그대로, 질문은 어렵게

같은 이미지에서 작은 물체의 개수를 세고, 글자를 정확히 읽고, 도구를 식별하고, 빛이 향하는 방향을 묻는 질문을 만들었다. 정답은 이미지를 직접 보며 확인했고, 모델들은 같은 요청 조건에서 따로 실행했다.

기존의 큰 모델은 빛의 방향을 틀리고, 없는 문장을 만들어 내고, 보이는 도구도 빠뜨렸다. 새 모델들은 이 세부 항목에서 더 나았다. 이 작은 시험에서만큼은 “가장 크니 가장 좋다”는 첫 결론을 유지할 수 없었다.

이 시험이 말해 주는 범위

이미지 세 장에 어려운 질문을 얹은 결과가 모든 작업의 모델 순위를 정해 주지는 않는다. 다만 쉬운 시험이 이미 포화됐다는 사실은 드러났다. 다음 비교에서는 모델의 약점을 가를 질문과 정답을 미리 정해 두어야 한다.

속도도 별도로 봐야 했다. 토큰 생성이 빠른 모델이라도 답이 길면 전체 응답 시간은 늘어난다. 생성 속도와 답변 완료까지 걸린 시간을 나눠 기록해야 장황함을 엔진의 느림으로 오해하지 않는다. 익숙한 시험 하나와 모델 크기만으로 선택을 끝내지 않는 것이 이번에 바꾼 판단 방식이다.