1 智谱AI大模型

智谱AI开放平台提供一系列具有不同功能和定价的大模型,包括通用大模型、超拟人大模型、图像大模型、向量大模型等,并且支持使用您的私有数据对模型进行微调。

2 集成智谱AI大模型

2.1 获取API-KEY

获取智谱AI API-KEY,请参考智谱AI官网「 API-KEY
在这里插入图片描述

2.2 引入Maven依赖

<dependency>
   	<groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-zhipuai-spring-boot-starter</artifactId>
    <version>1.0.0-M5</version>
</dependency>

2.3 集成对话模型(Chat Model)

 @Override
    public Flux<Result<ConversationReplyVO>> conversationStream(ConversationParam param, List<ChatSessionRecordVO> contextMessageList) {
        List<Message> messages = new ArrayList<>(MessageConverter.toMessageList(contextMessageList));
        messages.add(new UserMessage(param.getPrompt()));

        Prompt prompt = new Prompt(messages, ZhiPuAiChatOptions.builder()
                .model(param.getModelCode())
                .build());
        Flux<ChatResponse> stream = chatModel.stream(prompt);
        return stream.map(chatResponse -> {
            if (log.isDebugEnabled()) {
                log.debug("chatResponse: {}", chatResponse);
            }
            Usage usage = chatResponse.getMetadata().getUsage();
            String content = chatResponse.getResult().getOutput().getContent();
            ConversationReplyVO replyVO = ConversationReplyVO.builder()
                    .content(content)
                    .tokenUsage(TokenUsageVO.builder()
                            .promptTokens(usage.getPromptTokens())
                            .generationTokens(usage.getGenerationTokens())
                            .totalTokens(usage.getTotalTokens())
                            .build())
                    .build();
            return ResultWrapper.ok(replyVO);
        });
    }

2.4 在线体验

在这里插入图片描述

3 项目体验

注:前端项目设计灵活,能够同时兼容后端的单体架构和微服务架构

4 相关文档

Logo

欢迎加入 MCP 技术社区!与志同道合者携手前行,一同解锁 MCP 技术的无限可能!

更多推荐