登录社区云，与社区用户共同成长
邀请您加入社区
将 FP32/FP16 权重压缩到 INT8 甚至 INT4，可显著降低显存占用和计算量： | 精度 | 显存占用 | 速度提升 | 质量损失 | |------|----------|----------|----------| | FP16 | 基准 | 基准 | 无 | | INT8 | ~50% | 1.5-2x | 极低 | | GPTQ/AWQ INT4 | ~25% | 2-3x |
