Orange 开源项目 - 集成智谱AI大模型
提供一系列具有不同功能和定价的大模型,包括通用大模型、超拟人大模型、图像大模型、向量大模型等,并且支持使用您的私有数据对模型进行微调。
·
1 智谱AI大模型
智谱AI开放平台提供一系列具有不同功能和定价的大模型,包括通用大模型、超拟人大模型、图像大模型、向量大模型等,并且支持使用您的私有数据对模型进行微调。
2 集成智谱AI大模型
2.1 获取API-KEY
获取智谱AI API-KEY,请参考智谱AI官网「 API-KEY 」
2.2 引入Maven依赖
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-zhipuai-spring-boot-starter</artifactId>
<version>1.0.0-M5</version>
</dependency>
2.3 集成对话模型(Chat Model)
@Override
public Flux<Result<ConversationReplyVO>> conversationStream(ConversationParam param, List<ChatSessionRecordVO> contextMessageList) {
List<Message> messages = new ArrayList<>(MessageConverter.toMessageList(contextMessageList));
messages.add(new UserMessage(param.getPrompt()));
Prompt prompt = new Prompt(messages, ZhiPuAiChatOptions.builder()
.model(param.getModelCode())
.build());
Flux<ChatResponse> stream = chatModel.stream(prompt);
return stream.map(chatResponse -> {
if (log.isDebugEnabled()) {
log.debug("chatResponse: {}", chatResponse);
}
Usage usage = chatResponse.getMetadata().getUsage();
String content = chatResponse.getResult().getOutput().getContent();
ConversationReplyVO replyVO = ConversationReplyVO.builder()
.content(content)
.tokenUsage(TokenUsageVO.builder()
.promptTokens(usage.getPromptTokens())
.generationTokens(usage.getGenerationTokens())
.totalTokens(usage.getTotalTokens())
.build())
.build();
return ResultWrapper.ok(replyVO);
});
}
2.4 在线体验
- 在线体验: http://tiny.hengzq.cn
3 项目体验
- Orange 官网: http://hengzq.cn
- 在线体验: http://tiny.hengzq.cn
- 项目文档: http://hengzq.cn/orange-monomer/
- 单体架构-后端源码下载【GitHub】: https://github.com/hengzq/orange-monomer
- 单体架构-后端源码下载【Gitee】: https://gitee.com/hengzq/orange-monomer
- 微服务版本-后端源码下载【GitHub】: https://github.com/hengzq/orange-cloud
- 微服务版本-后端源码下载【Gitee】: https://gitee.com/hengzq/orange-cloud
- 前端源码下载【GitHub】: https://github.com/hengzq/orange-cloud
- 前端源码下载【Gitee】: https://gitee.com/hengzq/orange-cloud
注:前端项目设计灵活,能够同时兼容后端的单体架构和微服务架构
4 相关文档
更多推荐
所有评论(0)