​​欢迎关注【AI技术开发者】

在上文中,我们成功部署了FastGPT和new-api。

现在 我们需要使用new-api创建大模型服务,并使用FastGPT调用这些大模型,完成我们的任务。

本文以通义千问大模型为例,接入以下大模型服务

语言模型:qwen-plus -32k

语言模型:qwq-32b-preview -128k

语言模型:qwen-turbo -1m

视觉模型:qvq-72b-preview -32k

视觉模型:qwen-vl-max -32k

向量模型:text-embedding-v3 通用向量

向量模型:multimodal-embedding-v1 多模态向量

排序模型:gte-rerank

这些模型已经足够学习使用了。

首先,登录到后台(默认账号密码 root/123456),进入到渠道页面

6957de6e43414396bd7f886dc36838cf.png

点击创建渠道

f5185438971c44afa1d74f1a1b20df8e.png

类型选择 通义千问

名称自定义,分组默认

填入相关模型名称。

注意:为了统一,我们将这些模型对外提供服务所使用的名称均以qwen开头,如:qwen-gte-rerank

需要把qwen-gte-rerank和gte-rerank两个名称都填入模型这一行中,并在下方模型重定向选项中填入。

07f07ffc10a24843bd3f11b5b171ca47.png

重定向模板:

{
"对外提供的模型名称":"厂商模型名称"
}

添加成功后,点击测试按钮

3407ac6e6b2c4af48f973b5e1d70e86f.png

可以看到响应时间,即为添加成功。

​欢迎关注【AI技术开发者】

Logo

欢迎加入 MCP 技术社区!与志同道合者携手前行,一同解锁 MCP 技术的无限可能!

更多推荐