芯片类型及其特性

CPU（中央处理器）
设计目标为低延迟，擅长处理复杂、串行的通用任务。核心结构通常由少数几个大而强的核心组成，适用于操作系统、数据库、逻辑判断等场景。
比喻为一个精通高等数学的教授，能解决复杂问题但数量有限。

GPU（图形处理器）
设计目标为高吞吐量，擅长处理简单、并行的重复任务。核心结构包含成百上千个小而简的核心，适用于图形渲染、矩阵运算及深度学习（训练与推理）。
比喻为数千名小学生，能同时完成海量计算但仅处理简单任务。

DCU（深度学习加速器）
部分国产芯片（如海光）将CPU与GPU结合为DCU，兼顾通用计算与并行加速能力，适合大模型训练与推理。

NPU/AI加速芯片（如昇腾、寒武纪）
专为AI任务设计，通过定制化架构优化矩阵运算与张量处理，显著提升大模型的效率与能效比。

---

芯片厂商及产品

国外厂商

• 英伟达（NVIDIA）：GPU领域主导者，产品（如A100/H100）是大模型训练的行业标准。
• 英特尔（Intel）：CPU为主，但通过Habana Labs涉足AI加速。
• AMD：提供CPU（EPYC）与GPU（Instinct），部分GPU用于AI计算。

国内厂商

• 海光（HYGON）：CPU+DCU组合，支持国产化大模型基础设施。
• 昇腾（Ascend）：华为自研NPU，专攻AI推理与训练。
• 寒武纪（Cambricon）：聚焦AI芯片（如MLU系列），提供从云端到边缘的加速方案。
• 天数智芯（MetaX）：GPU类AI芯片，兼容CUDA生态。
• 燧原科技（Enflame）：AI加速卡，针对云端训练优化。

---

芯片对大模型性能的影响

计算并行能力
GPU/NPU的众核架构加速矩阵乘法（如Transformer中的注意力机制），相比CPU可提升数十倍训练速度。
eg：GPU的FLOPs（浮点运算能力）直接影响训练吞吐量

内存带宽与容量
大模型需高带宽存储参数（如HBM显存），英伟达H100的显存带宽达3TB/s，而寒武纪MLU370的带宽为1.2TB/s，带宽不足易成为瓶颈。

软件生态支持
CUDA（英伟达）和ROCm（AMD）的成熟度影响开发效率。国产芯片（如昇腾）需自建CANN生态，可能增加适配成本。

能效比
专用AI芯片（如NPU）通过架构优化（如稀疏计算）降低功耗，适合部署端侧大模型。寒武纪MLU220的能效比达5TOPS/W，优于通用GPU。

---

选型建议

训练阶段
优先选择高显存GPU（如A100/H100）或国产DCU（海光），需平衡算力与生态支持。

推理阶段
NPU（如昇腾910B）或低功耗GPU（如NVIDIA T4）更适合，注重延迟与能效。

国产化需求
结合软件栈成熟度选择，昇腾（CANN）、寒武纪（Cambricon NeuWare）等需评估工具链完整性。

显存和内存的概念

维度	内存（RAM）	显存（VRAM/HBM）
用途	通用计算，运行OS和应用	AI计算，图形渲染，并行计算
访问者	CPU	GPU/NPU
速度	较快（几十GB/s）	极快（几百GB/s到TB/s）
容量	通常较大（64GB-2TB）	相对较小（16GB-128GB）
价格	相对便宜	非常昂贵
位置	主板插槽	集成在计算卡上
典型场景	代码执行、文件缓存	模型加载、矩阵运算