benchmark

발행일 2026. 9. 8.

매출 0달러. 대신 낯선 사람 50명에게 1만 2,431달러짜리 청구서가 나갔다. 프런티어 모델 7종에 각각 300달러와 잠금 해제된 맥 미니를 주고 72시간 동안 최대한 돈을 벌라고 시킨 실험이다. 실험 주체가 공개한 트레이스와 지출 내역으로 확인했다.

발행일 2026. 9. 4.

터미널벤치 70.2%로 표에 적고, 같은 글 본문에서 66.9%로 내렸다. 모델이 깃허브에서 벤치마크 정답을 찾아낸 시도 24건을 만든 쪽이 스스로 걷어낸 결과다. K2 호라이즌 여섯 종의 공개 범위와 실제 성적을 발표문 원문과 결과표로 확인했다.

발행일 2026. 9. 3.

값은 100만 토큰 0.75달러 그대로인데, 구글은 '효율이 우선이면 3.7 플래시를 계속 쓰라'고 발표문에 적었다. 새 모델이 같은 일에 토큰을 더 쓰기 때문이다. 단가 동결과 실제 청구액이 갈리는 지점, 크롬 패치 2.6배와 두 시간 만의 취약점 발견까지 원문 기록으로 정리했다.

발행일 2026. 9. 2.

입력 100만 토큰 10달러, 출력 50달러. 페이블 5.1은 이 단가를 한 줄도 안 바꿨는데 실사용 청구액은 25%, 에이전트 작업은 45%까지 줄었다. 캐시 읽기 한 항목만 75% 깎아서 생긴 차이와, 벤치마크 표에서 두 배가 된 칸을 원문 기록으로 정리했다.

발행일 2026. 8. 15.

이틀 전 예고만 있던 Qwen3.8-27B의 가중치가 실제로 올라왔다. Apache-2.0 라이선스, 55.6GB 원본, 17GB 양자화. 벤치표에서 Opus4.6 Max를 넘긴 칸과 밀린 칸을 나누고, 그 표 아래 각주가 무엇을 조건으로 걸고 있는지까지 확인한다.