什么是大语言模型

Java小白q

153人浏览 · 2026-06-16 20:43:56

Java小白q · 2026-06-16 20:43:56 发布

什么是大语言模型

1.大模型的原理概要？

现在的AI已经十分强大，各类大模型的能力也十分出众，很多时候我们提出一个问题，它总能给出来看似完美的答案，以致于很多人都会觉得大模型肯定是可以完全理解问题的本质的，模仿人一样去思考的。其实不然，大模型更多像是一个拥有丰富统计经验的机械挑选者，从成千上万的token(文字或者单词，不是一比一的关系)中挑选出最应该输出的内容，也就是概率最高的那一个token,所以你会发现，虽然某一个问题你并不清楚它说的是否完全正确，但是输出内容是和你的问题紧紧相扣的。

本质上，LLM就是一个被海量文本"喂大"的AI，它通过统计词语之间的概率关系，学会了预测和生成通顺的语言。

2.相关基本概念

2.1Token-大模型的计量单位

大模型处理文本的时候，不是按照文字和单词来进行单个拆解的，而是一个个token(这就是为什么说大模型不是按照人类语言进行一比一的处理)

通常一个汉字=1.5~2个token,一个英文单词=1~1.5个token，不同的厂商的分词算法略有不同

happyness:大模型可能把这个单词拆分成“happy”+“ness”

2.2上下文窗口

💡 大语言模型在一次对话中，能"同时看到"的最大 Token 数量。

包括：你输入的提示词 + 历史对话 + 模型已生成的回答。

超出这个窗口的老内容，模型就看不到了（会被截断或遗忘）。所以提示词和会话管理是后续RAG系统的核心设计之一。

2.3Temperature

Temperature（温度） 是大语言模型生成文本时，控制随机性 / 创造力程度的一个参数。

它作用在模型输出词的概率分布上，决定模型是：

🔒 保守、确定、重复稳妥答案（低温）

🎲 随机、多样、有创意甚至跳脱（高温）

在这里插入图片描述

把 Temperature 想成：

🎯 “你允许模型按直觉（最高概率）答题，还是鼓励它偶尔冒险试别的可能”

低温 → 考试按标准答案写
高温 → 即兴自由发挥

🔹 常见误区

❌ Temperature 不控制回答长短
❌ 不保证"更聪明"，高温也可能产出废话
✅ 通常和 Top-P（核采样） 搭配使用

3.模型训练过程

3.1预训练

预训练（Pre-training） 是指：

💡 用超大规模无标注（或弱标注）数据，先训练一个大模型，让它学会通用的语言规律和世界知识。这一步不针对某个具体任务。

训练好的这个模型，就叫 预训练模型 / 基础模型（Foundation Model），之后可以：

直接通过 Prompt 用（少样本/零样本）
再微调（Fine-tuning）去做特定任务

就好比

小孩从小读很多书、报纸、故事、百科全书：

不要求他马上回答"什么是量子力学"
但他慢慢学会：
- 词语怎么搭配（“吃饭” ✅，“吃石头” ❌）
- 事情因果关系（“下雨→地湿”）
- 常见事实和背景（“北京是中国的首都”）

👉 这步 = 预训练

数据：海量文本
任务：猜下一个词（Next Token Prediction）
学会：语言规律 + 世界知识的统计模式

3.2对齐训练

经过预训练的基座模型知识饱读诗书的炫技哥，一味的把自己相关的知识进行自顾自地输出，对题目真正的要求可能毫不在意，就像是期末考试毛概的简答题，一想到相关的知识就疯狂往试卷上写，但有可能与题目核心的要求没有关系。对齐训练就像是真正理解题目要求的学生，按照出题人的期望完成回答。

在基座模型基础上，进一步做：

指令微调（Instruction Tuning / SFT）
- 用大量 <用户指令, 理想回答>数据微调
- 让模型学会：识别指令意图 + 按要求作答（问答、总结、翻译、写代码……）
对齐训练（Alignment，常用 RLHF 或 DPO）
- 通过人类偏好反馈，让回答：
  - ✅ 有用（Helpful）
  - ✅ 无害（Harmless）
  - ✅ 诚实（Honest）