大模型本地部署教程 | 搭建本地AI问答系统_embeddingstore

大家好，因为对AI大模型很感兴趣，相信很多兄弟们跟我一样，所以最近花时间了解了一些，有一些总结，分享给大家，希望对各位有所帮助。本文将讲解如何在本地搭建一个简易的AI问答系统，主要用java来实现，也有一些简单的python知识；网上很多例子都是以 ChatGPT来讲解的，但因为它对国内访问有限制，OpeAi连接太麻烦，又要虚拟账号注册账号啥的，第一步就劝退了，所以选择了 llama和qwen替代

大耳朵爱学习

1041人浏览 · 2025-03-17 23:44:19

大耳朵爱学习 · 2025-03-17 23:44:19 发布

前言

AI应用开发框架

（一）Langchain

官网：https://www.langchain.com/langchain

LangChain不是一个大数据模型，而是一款可以用于开发类似AutoGPT的AI应用的开发工具，LangChain简化了LLM应用程序生命周期的各个阶段，且提供了开发协议、开发范式，并拥有相应的平台和生态；

LangChain 是一个由 Harrison Chase 创立的框架，专注于帮助开发者使用语言模型构建端到端的应用程序。它特别设计来简化与大型语言模型（LLMs）的集成，使得创建由这些模型支持的应用程序变得更加容易。LangChain 提供了一系列工具、组件和接口，可以用于构建聊天机器人、生成式问答系统、摘要工具以及其他基于语言的AI应用。

LangChain 的核心特性包括：

1.链式思维（Chains）：LangChain 引入了“链”（Chain）的概念，这是一系列可组合的操作，可以按顺序执行，比如从获取输入、处理数据到生成输出。链条可以嵌套和组合，形成复杂的逻辑流。

2.代理（Agents）：代理是更高级别的抽象，它们可以自主地决定如何使用不同的链条来完成任务。代理可以根据输入动态选择最佳行动方案。

3.记忆（Memory）：LangChain 支持不同类型的内存，允许模型保留历史对话或操作的上下文，这对于构建有状态的对话系统至关重要。

4.加载器和拆分器（Loaders and Splitters）：这些工具帮助读取和处理各种格式的文档，如PDF、网页、文本文件等，为模型提供输入数据。

5.提示工程（Prompt Engineering）：LangChain 提供了创建和管理提示模板的工具，帮助引导模型生成特定类型的内容。

6.Hub：LangChain Hub 是一个社区驱动的资源库，其中包含了许多预构建的链条、代理和提示，可以作为构建块来加速开发过程。

7.与外部系统的集成：LangChain 支持与外部数据源和API的集成，如数据库查询、知识图谱、搜索引擎等，以便模型能够访问更广泛的信息。

8.监控和调试工具：为了更好地理解和优化应用程序，LangChain 提供了日志记录和分析功能，帮助开发者追踪模型的行为和性能。

（二）LangChain4J

上面说的 LangChain 是基于python 开发的，而 LangChain4J 是一个旨在为 Java 开发者提供构建语言模型应用的框架。受到 Python 社区中 LangChain 库的启发，LangChain4J 致力于提供相似的功能，但针对 Java 生态系统进行了优化。它允许开发者轻松地构建、部署和维护基于大型语言模型的应用程序，如聊天机器人、文本生成器和其他自然语言处理（NLP）任务。

主要特点：

1.模块化设计：LangChain4J 提供了一系列可组合的模块，包括语言模型、记忆、工具和链，使得开发者可以构建复杂的语言处理流水线。

2.支持多种语言模型：LangChain4J 支持与各种语言模型提供商集成，如 Hugging Face、OpenAI、Google PaLM 等，使得开发者可以根据项目需求选择最合适的模型。

3.记忆机制：它提供了记忆组件，允许模型记住先前的对话历史，从而支持上下文感知的对话。

4.工具集成：LangChain4J 支持集成外部工具，如搜索API、数据库查询等，使得模型能够访问实时数据或执行特定任务。

5.链式执行：通过链式执行，可以将多个语言处理步骤链接在一起，形成复杂的处理流程，例如先分析用户意图，再查询数据库，最后生成回复。

主要功能：

1.LLM 适配器：允许你连接到各种语言模型，如 OpenAI 的 GPT-3 和 GPT-4，Anthropic 的 Claude 等。

2.Chains 构建：提供一种机制来定义和执行一系列操作，这些操作可以包括调用模型、数据检索、转换等，以完成特定的任务。

3.Agent 实现：支持创建代理（agents），它们可以自主地执行任务，如回答问题、完成指令等。

4.Prompt 模板：提供模板化的提示，帮助指导模型生成更具体和有用的回答。

5.工具和记忆：允许模型访问外部数据源或存储之前的交互记录，以便在会话中保持上下文。

6.模块化和可扩展性：使开发者能够扩展框架，添加自己的组件和功能。

本地问答系统搭建环境准备

（一）用 Ollama 启动一个本地大模型

\1. 下载安装 Ollma

ollama 是一个命令行工具，用于方便地在本地运行 LLaMA 系列模型和其他类似的 transformer 基础的大型语言模型。该工具简化了模型的下载、配置和推理过程，使得个人用户能够在自己的机器上直接与这些模型交互，而不需要直接接触复杂的模型加载和推理代码；

下载地址：https://ollama.com/，下载完成后，打开 Ollma，其默认端口为11334，浏览器访问：http://localhost:11434 ，会返回：Ollama is running，电脑右上角展示图标；

\2. 下载大模型

安装完成后，通过命令行下载大模型，命令行格式：ollma pull modelName，如：ollma pull llama3；

大模型一般要几个G，需要等一会；个人建议至少下载两个， llama3、 qwen，这两个都是开源免费的，英文场景用 llama3，中文场景用 qwen；

下载完成后，通过 ollma list 可以查看已下载的大模型；

\3. 启动大模型

确认下载完成后，用命令行：ollma run 模型名称，来启动大模型；启动后，可以立即输入内容与大模型进行对话，如下：

（二）启动本地向量数据库 chromadb

Chroma 是一款 AI 原生开源矢量数据库，它内置了入门所需的一切，可在本地运行，是一款很好的入门级向量数据库。

\1. 安装：pip install chromadb ;

\2. 启动：chroma run ：

用java实现本地AI问答功能

（一）核心maven依赖：

在这里插入图片描述

（二）代码编写：

\1. 加载本地文件作为本地知识库：

public static void main(String[] args) throws ApiException {
    //======================= 加载文件=======================    
    Document document = getDocument("笑话.txt");

}

private static Document getDocument(String fileName) {
        URL docUrl = LangChainMainTest.class.getClassLoader().getResource(fileName);        
        if (docUrl == null) {        
            log.error("未获取到文件");        
        }        
        
        Document document = null;        
        try {       
            Path path = Paths.get(docUrl.toURI());            
            document = FileSystemDocumentLoader.loadDocument(path);       
        } catch (URISyntaxException e) {       
            log.error("加载文件发生异常", e);        
        }        
        return document;    
    }

\2. 拆分文件内容：

//======================= 拆分文件内容=======================
//参数：分段大小（一个分段中最大包含多少个token）、重叠度（段与段之前重叠的token数）、分词器（将一段文本进行分词，得到token）
DocumentByLineSplitter lineSplitter = new DocumentByLineSplitter(200, 0, new OpenAiTokenizer());
List<TextSegment> segments = lineSplitter.split(document);
log.info("segment的数量是: {}", segments.size());

//查看分段后的信息
segments.forEach(segment -> log.info("========================segment: {}", segment.text()));

3. 文本向量化并存储到向量数据库：

//提前定义两个静态变量
private static final String CHROMA_DB_DEFAULT_COLLECTION_NAME = "java-langChain-database-demo";
private static final String CHROMA_URL = "http://localhost:8000";


//======================= 文本向量化=======================
OllamaEmbeddingModel embeddingModel = OllamaEmbeddingModel.builder()
        .baseUrl("http://localhost:11434")        
        .modelName("llama3")        
        .build();


//======================= 向量库存储=======================
Client client = new Client(CHROMA_URL);

//创建向量数据库
EmbeddingStore<TextSegment> embeddingStore = ChromaEmbeddingStore.builder()
        .baseUrl(CHROMA_URL)        
        .collectionName(CHROMA_DB_DEFAULT_COLLECTION_NAME)        
        .build();

segments.forEach(segment -> {
    Embedding e = embeddingModel.embed(segment).content();    
    embeddingStore.add(e, segment);
});

\4. 向量库检索：

//======================= 向量库检索=======================
String qryText = "北极熊";
Embedding queryEmbedding = embeddingModel.embed(qryText).content();

EmbeddingSearchRequest embeddingSearchRequest = EmbeddingSearchRequest.builder().queryEmbedding(queryEmbedding).maxResults(1).build();
EmbeddingSearchResult<TextSegment> embeddedEmbeddingSearchResult = embeddingStore.search(embeddingSearchRequest);
List<EmbeddingMatch<TextSegment>> embeddingMatcheList = embeddedEmbeddingSearchResult.matches();
EmbeddingMatch<TextSegment> embeddingMatch = embeddingMatcheList.get(0);
TextSegment textSegment = embeddingMatch.embedded();
log.info("查询结果: {}", textSegment.text());

\5. 与LLM交互

//======================= 与LLM交互=======================
PromptTemplate promptTemplate = PromptTemplate.from("基于如下信息用中文回答:\n" +
        "{{context}}\n" +        
        "提问:\n" +        
        "{{question}}");
Map<String, Object> variables = new HashMap<>();
//以向量库检索到的结果作为LLM的信息输入
variables.put("context", textSegment.text());
variables.put("question", "北极熊干了什么");
Prompt prompt = promptTemplate.apply(variables);

//连接大模型
OllamaChatModel ollamaChatModel = OllamaChatModel.builder()
        .baseUrl("http://localhost:11434")        
        .modelName("llama3")        
        .build();UserMessage 

userMessage = prompt.toUserMessage();
Response<AiMessage> aiMessageResponse = ollamaChatModel.generate(userMessage);
AiMessage response = aiMessageResponse.content();
log.info("大模型回答: {}", response.text());

（三）功能测试

代码中用到 “笑话.txt” 是我随便从网上找的一段内容，大家可以随便输入点内容，为了给大家展示测试结果，我贴一下我文本内容：

在这里插入图片描述

当我输入问题：“北极熊干了什么”，程序打印如下结果：

根据故事，北极熊把自己的身上的毛一根一根地拔了下来

结语

1.以上便是完成了一个超简易的AI问答功能，如果想搭一个问答系统，可以用Springboot搞一个Web应用，把上面的代码放到业务逻辑中即可；

2.langchain 还有其他很多很强大的能力，prompt Fomat、output Fomat、工具调用、memory存储等；

3.早点认识和学习ai，不至于被它取代的时候，连对手是谁都不知道。

参考资料：

1.langchain 官网（https://www.langchain.com/）

2.langchain 入门教程https://www.bilibili.com/video/BV1XC411n72m/）

3.langchain4j github（https://github.com/langchain4j/langchain4j）

4.langchain4j 视频介绍（https://www.bilibili.com/video/BV1mm421M7ag/）

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
在这里插入图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
在这里插入图片描述

MCP技术社区

欢迎加入 MCP 技术社区！与志同道合者携手前行，一同解锁 MCP 技术的无限可能！

更多推荐

Bright Data MCP+Trae ：快速构建电商导购助手垂直智能体

MCP技术社区

MCP新手图文指南：轻松实现AI与您的数据和工具无缝对接

MCP技术社区

MCP和开源Agent框架整理

第一阶段：LLM 仅依赖训练数据回答，缺乏工具调用能力。第二阶段：增加上下文输入，可调用工具但交互不自然。第三阶段：构建底层架构，LLM 能接入外部应用，系统实现可维护性。MCP打通上下文与工具接入，“给 agent 装上执行工具的统一接口”；Agent 架构定义 agent 内部如何思考、通信和执行；Agent 编排将多个架构合理协作组合完成复杂任务；开源框架则将上述三者封装成不同级别和适配场景

MCP技术社区

所有评论(0)

查看更多评论

大耳朵爱学习

@2401_85379281

已为社区贡献49条内容

大模型本地部署教程 | 搭建本地AI问答系统_embeddingstore

大耳朵爱学习

前言

相关概念了解

（一）大语言模型 LLM

（二）Embedding

（三）向量数据库

（四）RAG

AI应用开发框架

（一）Langchain

（二）LangChain4J

本地问答系统搭建环境准备

（一）用 Ollama 启动一个本地大模型

（二）启动本地向量数据库 chromadb

用java实现本地AI问答功能

（一）核心maven依赖：

（二）代码编写：

（三）功能测试

结语

参考资料：

👉AI大模型学习路线汇总👈

👉大模型实战案例👈

👉大模型视频和PDF合集👈

👉学会后的收获：👈

👉获取方式：

所有评论(0)

大耳朵爱学习

大模型本地部署教程 | 搭建本地AI问答系统_embeddingstore

大耳朵爱学习

前言

相关概念了解

（一）大语言模型 LLM

（二）Embedding

（三）向量数据库

（四）RAG

AI应用开发框架

（一）Langchain

（二）LangChain4J

本地问答系统搭建环境准备

（一）用 Ollama 启动一个本地大模型

（二）启动 本地向量数据库 chromadb

用java实现 本地AI问答功能

（一）核心maven依赖：

（二）代码编写：

（三）功能测试

结语

参考资料：

👉AI大模型学习路线汇总👈

👉大模型实战案例👈

👉大模型视频和PDF合集👈

👉学会后的收获：👈

👉获取方式：

所有评论(0)

大耳朵爱学习

（二）启动本地向量数据库 chromadb

用java实现本地AI问答功能