文章目录

大模型现状

baseline底座选择

在这里插入图片描述

数据构造

在这里插入图片描述

  • 领域数据
  • 书籍数据
  • 网站数据
  • 新闻内容
  • 指令微调数据

混合数据（公用数据+领域数据，比例1：5 ）避免知识遗忘，导致通用能力下降。

迁移方法

在这里插入图片描述

  • 资源不充足的时候，在chat模型基础上训练
  • 资源充足的时候，在Base模型上训练
    千万级别的数据，在chat模型上不要用全量数据进行训练。

评价

在这里插入图片描述

思考

在这里插入图片描述

领域大模型训练技巧

在这里插入图片描述

Tokenizer

在这里插入图片描述

分布式深度学习

在这里插入图片描述

数据并行

在这里插入图片描述

管道并行

在这里插入图片描述

向量并行

在这里插入图片描述
在这里插入图片描述

分布式框架——Megatron-LM

在这里插入图片描述

分布式深度学习框架——Colossal-AI

在这里插入图片描述

分布式深度学习框架——DeepSpeed

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

P-tuning 微调

在这里插入图片描述

资源消耗

在这里插入图片描述
在这里插入图片描述

模型推理加速

模型推理加速方法——FastLLM

在这里插入图片描述

模型推理加速方法——VLLm

在这里插入图片描述

领域大模型产品形态及落地场景

在这里插入图片描述

ChatGPT用户视角思考

在这里插入图片描述

ChatGPT企业视角思考

在这里插入图片描述

企业级ChatGPT的建设要素

在这里插入图片描述

选择优质的应用场景

在这里插入图片描述

ChatGPT场景设计-工业制造

在这里插入图片描述

ChatGPT场景设计-文案编写

在这里插入图片描述

Logo
MCP技术社区

欢迎加入 MCP 技术社区！与志同道合者携手前行，一同解锁 MCP 技术的无限可能！

更多推荐

cover

华为云云应用引擎CAE，重塑企业AI Agent最佳运行态

avatar MCP技术社区
cover

OpenMemory MCP：大模型的记忆中枢

avatar MCP技术社区
cover

AI 零成本搭建个人网站，小白 3 步搞定！通义灵码智能体+MCP 新玩法

avatar MCP技术社区