前言

随着 生成式 AI（GenAI）的兴起，向量数据库（Vector Database）迅速走红。然而，向量数据库的应用远不止于大模型（LLM），它同样适用于各种 AI 系统，尤其是在 RAG 的场景下。

在 AI 领域，我们经常处理向量嵌入（Vector Embeddings）。向量数据库正是为了高效存储、更新和检索这些嵌入数据而生的：

✅ 存储（Storing）
✅ 更新（Updating）
✅ 检索（Retrieving）

其中，检索（Retrieval）指的是查找与查询向量最相似的一组向量，这一过程被称为近似最近邻（ANN, Approximate Nearest Neighbour）搜索。例如：

• 查询可以是一个图片，希望找到与之相似的图片。

• 查询也可以是一个文本问题，希望检索到相关背景信息，并借助 LLM 生成答案。

构建向量数据库：数据的写入与读取

写入/更新数据

1️⃣ 选择合适的机器学习模型，用于生成向量嵌入。
2️⃣ 对各种类型的数据进行嵌入（文本、图像、音频、表格等）。
3️⃣ 使用嵌入模型将数据转换为向量表示。
4️⃣ 存储元数据，以便后续进行预筛选或后筛选。
5️⃣ 索引嵌入数据，常见索引方法包括：

• 随机投影（Random Projection）

• 产品量化（Product Quantization）

• 局部敏感哈希（Locality-Sensitive Hashing, LSH）

6️⃣ 存储向量数据，同时建立索引，以便后续高效检索。

读取数据

7️⃣ 查询向量数据库通常包括两部分：

• 用于 ANN 搜索的数据

  （例如，查询一张图片，寻找相似图片）。

• 元数据查询

  （例如，搜索公寓图片，但排除特定城市的公寓）。

8️⃣ 执行元数据查询，可以在 ANN 搜索之前或之后进行。
9️⃣ 使用相同的嵌入模型将查询数据转换为向量。
🔟 执行 ANN 搜索，找出最相似的向量。常见的相似性度量方法包括：

• 余弦相似度（Cosine Similarity）

• 欧几里得距离（Euclidean Distance）

• 点积（Dot Product）

上下文检索：如何提高检索数据的准确性？

在 RAG 任务中，传统的检索方式可能会导致重要的上下文缺失，影响生成结果的质量。因此，Anthropic 团队提出了一种新的方法——上下文检索（Contextual Retrieval），其核心思想是在数据预处理阶段增强上下文信息，使得模型在查询时能够获得更精准的背景数据。

预处理（Preprocessing）

1️⃣ 将文档拆分成多个块（Chunks）。
2️⃣ 对每个分块单独处理，将其与完整文档一起加入 Prompt。
3️⃣ 添加指令，让 LLM 生成该分块的简要上下文，并明确该分块在文档中的位置。
4️⃣ 合并生成的上下文与原始分块。
5️⃣ 使用 TF-IDF 进行嵌入，提高关键词匹配能力。
6️⃣ 使用 LLM 进行向量嵌入，获取语义表示。
7️⃣ 存储嵌入数据，支持高效检索。

检索（Retrieval）

8️⃣ 使用用户查询进行上下文检索，ANN 进行语义匹配，TF-IDF 进行精确匹配。
9️⃣ 应用 Rank Fusion 技术，合并和去重检索结果，筛选出前 N 个最相关的数据块。
🔟 重新排序（Rerank）结果，提取前 K 个数据块。
1️⃣1️⃣ 将筛选后的数据块与用户查询一起输入 LLM，最终生成高质量的答案。

❗ 步骤 3 可能会带来较高的计算成本，但可以通过Prompt 缓存（Prompt Caching）降低成本，提高响应效率。

向量数据库 + 上下文检索，打造更精准的 AI 应用

向量数据库提供了一种高效的数据存储和检索方式，而上下文检索则进一步提高了数据的准确性和相关性。在 AI 领域，二者结合可以极大地提升 RAG 任务的质量，使 AI 能够生成更准确、更有用的答案。

如果你正在使用向量数据库，或者希望优化 AI 检索能力，不妨试试上下文检索！

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】