一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！

清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。

MixQ支持8比特和4比特混合精度推理，可实现近无损的量化部署并提升推理的吞吐。

△图1 MixQ吞吐与已有开源工作比较

MixQ同时量化权重和激活，使用低精度张量核心（INT8/INT4 Tensor Core）实现推理加速；同时，MixQ提取激活中少量的离群值，使用高精度张量核心（FP16 Tensor Core）保持推理准确性，通过系统优化掩盖高精度访存开销。

不仅保持推理的准确性，而且通过使用低精度算力有效提升吞吐，充分发挥硬件计算潜力（图1）。

同时，研究团队提供了基于VLLM和Tensorrt-LLM的混合精度推理，用户可以方便地一键部署模型。

△图2 使用VLLM一键部署4比特和8比特混合精度量化并推理

MixQ已支持多个主流大模型LLaMA3，Qwen2，Baichuan2，ChatGLM等。据了解，目前MixQ开源技术已被清程极智等AI行业公司应用在实际产品中。

该工作同时于高性能计算领域顶级国际会议SC’24发表，第一作者清华大学博士后陈逸东、通讯作者为翟季冬教授。

研究背景：已有量化技术总结

量化的主要技术路线有两条，第一条是权重量化。

权重量化的理论加速比是16/量化的比特数。例如，将模型压缩成为4bit，那么理论加速比为16/4=4倍。

然而，当服务商面临大量的用户同时访问时，权重量化的系统吞吐会低于FP16的吞吐，其主要原因是权重量化计算过程中将低精度权重恢复成FP16然后计算，这导致权重量化并不使用低精度算力，当场景表现为compute bound的时候，性能较低。

△图3 用户请求多权重量化吞吐低于FP16

第二条技术路线是量化权重和激活，使用低精度的张量核心来提升系统的吞吐。

直接将激活量化为低比特可能会出现较大的精度损失。其原因在于激活矩阵中存在离群值（图4）。

一个有效的方法是SmoothQuant，主要思想是通过平滑激活矩阵来降低量化激活的误差。

△图4 激活矩阵中存在离群值

混合精度量化则是一类全新的量化方法，该方案先做了一个矩阵分解，对绝大部分权重和激活用低比特存储，将离群值用FP16存储，分别做矩阵乘法。

△图5 混合精度量化示意图

混合精度量化的一个优势就是可以实现近乎无损精度的量化。使用混合精度量化的LlaMA模型在MMLU 20个领域上的数据集进行推理准确率测试表明，采用8bit混合精度量化后的准确率下降不到0.1%：

△图6 混合精度量化分类准确率

不过，此前已有的混合精度量化的系统的性能普遍不高，主要瓶颈在针对离群点进行查找、访存和计算的开销占比大。

以混合精度库Bitsandbytes为例，实测试表明，Bitsandbytes在用户请求数量为512时仅有1.08倍的加速。

△图7 Bitsandbytes的在LLaMA70B上的Kernel性能测试

△图8 Atomic operator是混合精度推理系统的瓶颈之一

那么，如何优化对离群点的查找、访存和计算的开销呢？

MixQ的解决方案

MixQ的核心思想是基于离群点的局部性对混合精度的计算图做等价变换，使得变换后的混合精度的计算图可以避免离群点查找的额外开销；在此基础上，通过图层融合和设计高效的混合精度数据结构降低访存开销；最后通过CUTLASS生成高性能的混合精度算子，达到提升系统性能的效果。

MixQ的设计基于以下的观察：

离群点的局部性。对LLM的激活矩阵分析发现，在不同的decode阶段的离群点的分布是有规律的。

如图9，红色的点表示的是第一次出现的离群点，绿色的点表示的是重复出现的离群点，随着decode的进行，多数离群点出现在了固定的channel。

△图9 decode阶段离群点的分布规律

因此，研究人员得到一个重要的结论：在大部分的decode阶段是不需要重复检测离群点的，也就是说我们可以避免检查离群点的开销。

剩下的问题是，如何知道哪些时候不需要重复检查离群点呢？这个答案就隐藏在量化系数中。

在量化的过程中需要对矩阵进行amax的操作。因此，通过amax得到的结果可以判断矩阵中是否存在离群点。如amax的值大于阈值，那矩阵中存在离群点。反之则不存在。

更重要的是，amax操作可以和前一个操作融合。这样不仅以极低的代价检测离群点的存在，还通过对图层进行融合来降低量化的开销。

基于以上的分析，MixQ的设计使用了三个关键技术：

一是对计算图的等价变换。

针对混合精度的计算逻辑进行了等价变换以后，通过计算激活矩阵的amax的值，避免了检测离群点的开销。

△图10 优化混合精度的计算逻辑

二是设计混合精度数据结构。

MixQ将离群点“拼接”成了一个新的矩阵。这一方法相较于ATOM采用的重排列（reorder）具有更低的开销。

△图11 MixQ：order-reserved数据结构

三是使用CUTLASS编写高性能的混合精度的算子，这一关键技术的实现依赖于NVIDIA提供的高性能矩阵乘法模板CUTLASS 3.x。

MixQ在寄存器中反量化低精度的计算结果并与高精度的结果进行相加。

△图12 融合dequantize、scale和add操作

下面来看MixQ的实验结果，以LLaMA 70B为例。

在准确率表现方面，MixQ的准确率和Bitsandbytes一致。

△图13 MixQ的推理精度

在性能表现方面，MixQ 8bit kernel是Bitsandbytes的1.9倍。

MixQ 4bit Kernel的性能达724TFLOPs，是FP16的3.13倍。

△图14 MixQ Kernel性能

端到端测试下，MixQ在batch=512相对Bitsandbytes和AWQ加速1.78和6倍。

△图15 多batch测试；上：MIXQ的推理输出（19.21it/s）；下：FP16的推理输出 （13.56it/s）

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】