DeepSeek实战-spring-ai-ollama框架实现java调用
在cmd中执行ollama list 命令,查看本地有多少个模型在cmd中执行ollama run deepseek-r1:1.5b 命令,启动大模型在项目的pom.xml中集成普通模式下,问完一个问题,大模型会将思考后的答案直接全部输出流式响应回答,问完一个问题,大模型会和现在流行的问答方式一样,逐字输出。
1、本地运行DeepSeek模型
1.1、查看本地DeepSeek模型版本
在cmd中执行ollama list 命令,查看本地有多少个模型
# 查看本地有多少个模型ollama list
1.2、启动DeepSeek模型
在cmd中执行ollama run deepseek-r1:1.5b 命令,启动大模型
# 启动deepseek-r1:1.5b 模型
ollama run deepseek-r1:1.5b
2、springboot集成spring-ai-ollama框架
2.1、集成spring-ai-ollama-spring-boot-starter
在项目的pom.xml中集成
<!-- spring-ai-ollama 框架 -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
<version>0.8.1</version>
</dependency>
2.2、在application.yml配置ollama参数
spring:
application:
name: nan-spring-ai-demo
ai:
ollama:
base-url: http://localhost:11434
chat:
model: deepseek-r1:1.5b
2.3、编写OllamaController
package com.ai;
import jakarta.annotation.Resource;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.http.codec.ServerSentEvent;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;
/**
* 根据Spring AI Alibaba教程,完成基础框架搭建
* @author: NPF
* @date: 2025/02/16 20:28
*/
@RestController
@RequestMapping("/ollama")
public class OllamaController {
@Resource
private OllamaChatModel ollamaChatModel;
/**
* 普通回答
*/
@GetMapping("/ollama")
public Object ollamaCall(@RequestParam(value = "msg") String msg){
return ollamaChatModel.call(new Prompt(msg));
}
/**
* 流式响应
*/
@GetMapping(value = "/ollama-stream", produces = "text/event-stream; charset=utf-8")
public Flux<ServerSentEvent> ollamaStream(@RequestParam(value = "msg") String msg){
return ollamaChatModel.stream(new Prompt(msg)).map(
message -> ServerSentEvent.builder().id("111").event("message").data(message.getResult().getOutput().getContent()).build()
);
}
}
2.4、测试输出效果
2.4.1、普通回答
普通模式下,问完一个问题,大模型会将思考后的答案直接全部输出
2.4.2、流式响应回答(目前问答常用模式)
流式响应回答,问完一个问题,大模型会和现在流行的问答方式一样,逐字输出
3、Java 调用 DeepSeek 框架的对比分析
框架名称 | 核心功能 | 适用场景 |
---|---|---|
spring-ai-ollama | 基于 Ollama 的本地大模型框架,支持轻量级本地部署,通过 HTTP API 调用模型。 | 需调用本地 Ollama 服务托管的模型(如 DeepSeek 本地部署),追求低延迟和轻量级。 |
DeepSeek4J | 专为 Java 项目设计,一行代码集成 DeepSeek 模型,支持流式响应和代理配置。 | 需快速集成 DeepSeek 模型,支持本地或远程 API,适合 Spring Boot 项目。 |
Spring AI Alibaba | 阿里云生态集成框架,支持多种大模型(如通义千问),提供结构化输出、RAG 等高级功能。 | 需集成阿里云模型或国产大模型,支持高级功能(如 RAG、嵌入向量)。 |
3.1、spring-ai-ollama(轻量级,本篇文章使用)
spring-ai-ollama 是 Spring AI 框架提供的一个模块,用于集成 Ollama 平台,从而在 Java 应用中调用本地或远程部署的大型语言模型(LLM),例如 DeepSeek-R1 项目地址:https://docs.spring.io/spring-ai/reference/api/chat/ollama-chat.html
3.2、DeepSeek4J
DeepSeek4J是专门针对Java生态系统开发的DeepSeek模型集成框架。它的出现,就是为了打破现有框架的束缚,让Java开发者能够轻松将DeepSeek模型融入到自己的项目中。这个框架的API设计得简洁又好用,开发者仅需编写一行代码,就能完成DeepSeek模型的接入工作,大大降低了集成门槛。
项目地址:https://github.com/pig-mesh/deepseek4j
文档地址:https://javaai.pig4cloud.com/deepseek
3.3、Spring AI Alibaba
Spring AI Alibaba 开源项目基于 Spring AI 构建,是阿里云通义系列模型及服务在 Java AI 应用开发领域的最佳实践,提供高层次的 AI API 抽象与云原生基础设施集成方案,帮助开发者快速构建 AI 应用。
我的DeepSeek部署资料已打包好(自取↓)
https://pan.quark.cn/s/7e0fa45596e4
但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里!
❗️为什么你必须了解大模型?
1️⃣ 薪资爆炸:应届大模型工程师年薪40万起步,懂“Prompt调教”的带货主播收入翻3倍
2️⃣ 行业重构:金融、医疗、教育正在被AI重塑,不用大模型的公司3年内必淘汰
3️⃣ 零门槛上车:90%的进阶技巧不需写代码!会说话就能指挥AI
(附深度求索BOSS招聘信息)
⚠️警惕:当同事用DeepSeek 3小时干完你3天的工作时,淘汰倒计时就开始了。
那么,如何系统的去学习大模型LLM?
作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?老师啊,我自学没有方向怎么办?老师,这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!当然这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
👉大模型学习指南+路线汇总👈
我们这套资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!
更多推荐
所有评论(0)