quantization

발행일 2026. 8. 23.

엔비디아 공식 NVFP4 양자화가 88k 컨텍스트에서 토큰 약 50%를 뒤집으며 5종 중 꼴찌였다. 같은 모델·같은 가중치인데 어텐션 백엔드와 KV 캐시 설정만 바꿔도 툴 호출이 깨진다. 로짓을 통째로 캡처한 실측으로 본 로컬 추론의 함정과, 오늘 당장 바꿀 설정.

발행일 2026. 8. 13.

예고만 하고 미뤄지던 Qwen3.8-Max의 가중치가 Hugging Face에 실제로 올라왔다. 2.4T 파라미터 213개 샤드의 실물, 벤치마크가 이긴 항목과 진 항목, 397GB까지 줄여도 450GB RAM이 필요한 이유, 그리고 아무도 안 읽는 라이선스 조건 두 개를 정리한다.

발행일 2026. 8. 11.

메타가 아파치 2.0으로 공개한 30B 오픈웨이트 모델. 공개 벤치마크 7종의 승패, 양자화 구성별 VRAM 요구량, 그리고 RTX 3090 구동설이 1차 출처에 없다는 사실까지 정리한다.