AI 모델 비교 글을 믿기 어려운 이유
2026-09-29
같은 벤치마크 1위 점수를 어떤 글은 80.6%, 어떤 글은 97%라고 적습니다. 대표 지표는 포화됐고 단가 비교도 토크나이저 때문에 어긋납니다. 그럼 무엇으로 고르나 — 안 낡는 질문 네 개.
"2026년 최고의 AI 모델"류 글을 여러 개 읽었습니다. 같은 지표를 놓고 숫자가 서로 달랐습니다. 한 곳은 80.6%, 다른 곳은 97% 라고 적어 두었습니다. 같은 벤치마크, 같은 무렵의 글입니다.
한 줄로 먼저
모델 비교 글의 숫자는 서로 안 맞습니다. 대표 지표는 상위 모델이 몰려서 변별력을 잃었고, 단가 비교도 토크나이저가 달라서 어긋납니다. 그래서 점수로 고르지 말고 내 작업으로 시험합니다.
① 숫자가 서로 안 맞습니다
직접 겪은 것을 그대로 적습니다. 코딩 벤치마크 순위를 찾아봤더니 같은 무렵에 쓰인 비교 글들이 이렇게 적어 두었습니다.
| 어떤 글 | 같은 지표에 적힌 1위 점수 |
|---|---|
| A | 80.6% |
| B | 96~97% |
어느 쪽이 맞는지 판정하려면 각 모델을 직접 돌려 봐야 합니다. 그럴 수 있는 사람은 거의 없습니다. 그래서 이 숫자들은 검증되지 않은 채로 퍼집니다.
비교 글의 숫자가 다를 때, 둘 중 하나가 거짓말이라는 뜻은 아닙니다. 버전 · 조건 · 하위 지표가 다른데 이름만 같게 적었을 가능성이 큽니다. 그런데 읽는 사람에게는 그 차이가 안 보입니다. 결과는 같습니다 — 믿을 수 없습니다.
② 대표 지표가 포화됐습니다
코딩 능력을 재는 대표 지표에서 상위 모델들이 90점대 중반에 몰려 있다고 여러 비교 글이 함께 말합니다. (이건 제가 직접 잰 것이 아니라 2차 출처들의 공통된 이야기입니다.)
사실이라면 뜻은 분명합니다. 1등과 5등이 몇 점 차이면 그 지표로는 못 고릅니다. 측정 오차와 순위 차이가 구별되지 않습니다.
지표가 포화되면 새 지표가 나옵니다. 그런데 새 지표는 아직 아무도 그게 내 일과 얼마나 관련 있는지 모릅니다. 포화된 옛 지표와 검증 안 된 새 지표 사이에서, 둘 다 내 선택에 도움이 안 됩니다.
③ 단가만 비교해도 틀립니다
이건 1차 문서로 확인한 것입니다. 모델 A가 100만 토큰당 $5, B가 $3 이라고 B 가 싼 게 아닙니다.
Claude 4.7 이후 모델은 더 새로운 토크나이저를 사용하며, 이는 같은 텍스트에 대해 약 30% 더 많은 토큰을 만듭니다.
— Anthropic 가격 문서
같은 글을 넣어도 세어지는 토큰 수가 다릅니다. 30% 더 세어지면 단가가 같아도 청구액은 1.3배입니다. 세대가 다른 모델끼리 표로 비교한 글은 이걸 거의 반영하지 않습니다.
그리고 요청당 원가는 답이 아닙니다
싼 모델이 한 번에 못 끝내고 세 번 돌면 비싼 모델보다 비쌉니다. 세어야 하는 것은 요청 하나의 값이 아니라 일을 끝내기까지의 값입니다. 비교 글의 표에는 이 숫자가 없습니다 — 작업마다 다르기 때문입니다.
그럼 무엇으로 고르나 — 질문 네 개
점수 대신 이걸 물으면 거의 갈립니다. 그리고 이 질문들은 모델이 바뀌어도 안 낡습니다.
| 물어볼 것 | 갈리는 방향 |
|---|---|
| 틀리면 누가 다치나 | 남이 다친다(세금 · 의료 · 법) → 가장 좋은 모델 + 사람이 검증 |
| 몇 번 돌 일인가 | 한 번 → 좋은 모델 · 수천 번 → 싼 모델 + 배치 할인 |
| 내가 쓸 일인가, 서비스에 넣을 일인가 | 내 일 → 정액 구독(많이 써도 요금 같음) · 서비스 → API(사람 수 × 호출당 원가) |
| 규칙으로 풀리나 | 풀리면 AI 를 안 쓴다 |
세 번째가 특히 중요합니다
같은 모델이라도 내가 구독으로 쓰는 것과 서비스에 API 로 넣는 것은 성격이 정반대입니다. 구독은 많이 써도 요금이 같아서 마음껏 쓰면 되고, API 는 사용자가 늘면 원가가 같이 늘어납니다.
"어떤 모델이 제일 좋은가"만 묻는 비교 글은 이 구분을 안 합니다. 그런데 실제 결정은 대개 여기서 갈립니다.
내 작업으로 시험하는 법
리더보드보다 정확하고, 30분이면 됩니다.
- 내가 실패했던 작업 3개를 적어 둡니다. 이미 답을 아는 것이어야 합니다 — 채점할 수 있어야 하니까요
- 새 모델이 나오면 그 3개를 그대로 던집니다. 프롬프트를 다듬지 않습니다. 다듬으면 모델이 아니라 프롬프트를 시험하는 것이 됩니다
- 결과를 적어 둡니다. 기억에 맡기면 인상만 남습니다
제가 쓰는 세 개는 이렇습니다.
문법 검사를 통과하는 오타(화살표에서 > 가 빠졌는데 검사를 통과한 것),
이미지로 된 법령 별표 읽기,
일몰된 조문을 살아 있다고 말하는지.
전부 실제로 데인 것들입니다. 일반 벤치마크에는 이런 게 없습니다.
비교 글을 읽을 때 볼 것
| 확인 | 왜 |
|---|---|
| 언제 쓴 글인가 | 반년이면 모델 이름이 절반 바뀐다 |
| 숫자의 출처가 적혀 있나 | 없으면 다른 비교 글에서 베낀 것일 수 있다 |
| 어떤 작업으로 쟀나 | 내 작업과 다르면 순위도 다르다 |
| 가격이 도입가인가 | 기한이 있는 할인가로 "가성비"를 계산한 글이 많다 |
| 파는 글인가 | 제휴 링크가 붙어 있으면 순위를 의심한다 |
정리하면
- 비교 글의 숫자는 서로 안 맞습니다 — 같은 지표에 80.6%와 97%
- 대표 지표는 포화됐습니다 — 상위가 몰리면 그 지표로는 못 고릅니다
- 단가만 비교하면 틀립니다 — 토크나이저가 다르면 약 30% 차이
- 요청당이 아니라 일 끝낼 때까지의 원가로 셉니다
- 질문 네 개로 고릅니다 — 누가 다치나 · 몇 번 도나 · 구독인가 API인가 · 규칙으로 풀리나
- 내 실패 사례 3개로 시험합니다 — 리더보드보다 정확합니다
이어서 읽기
- AI API 가격, 지금 보는 값은 도입가입니다
- AI가 자신 있게 틀리는 자리 — 끝난 법조문과 바뀐 주소
- AI에게 내 글을 줄 것인가 — 크롤러 7종과 robots.txt
- llms.txt, 지금 만들 필요가 있을까
근거
- 직접 관찰 (2026-09-29) — 같은 코딩 벤치마크 1위 점수를 한 곳은 80.6%, 다른 곳은 96~97% 로 적어 둔 비교 글들
- 2차 출처 다수 — 대표 코딩 벤치마크가 포화되어 상위 모델이 90점대 중반에 몰린다는 공통된 서술. 직접 측정한 것이 아니므로 이 항목은 확정된 사실로 읽지 마세요
- Anthropic 가격 문서 (1차) — Claude 4.7 이후 토크나이저가 같은 텍스트에 약 30% 더 많은 토큰을 만든다 · 모델별 단가 · 배치 50%
- Google · OpenAI 가격 문서 (1차) — 도입가와 인상 예정일
2026년 9월 29일에 썼습니다. 이 글에서 1차 문서로 확인한 것(토크나이저 · 단가)과 2차 출처에 기댄 것(벤치마크 포화)을 나눠 적었습니다. 모델 이름과 점수는 빨리 낡지만, 위의 질문 네 개는 그대로 쓸 수 있습니다.