通过LM studio 在笔记本部署大模型
笔记本适合多大的大模型,笔记本适合用什么样的模型运行框架,这篇文章可以给你答案
·
首先感谢up主 痕继痕迹 的分享,让我完成了我的部署
总纲
模型部署器选择
LM studio的安装
官网:https://lmstudio.ai/?ref=openi.cn 至于windows 安装,过程简单,这里没有遇到问题,不做过多赘述。
模型文件的选择
可以进入这个镜像网站下载很多开源的大模型(无需登录) :https://hf-mirror.com/ ,详细你需要选择一个GUFF文件,详细请看 痕继痕迹 的番号:BV1onznY4Env的介绍
下载模型
运行模型
下载之后,你需要点下面的图,创建两个文件夹,把文件扔进去,就可以了
使用模型
加载:
总结
因为比较晚了,我后面回去调试下接口,然后把大模型的内容写入到es,完成这个实验,感谢大家的阅读。今天就没有用豆包总结了,因为过程,基本 没使用到豆包,一般好的体验是不需要豆包的,当然你使用豆包越少,说明你对大模型的各项应用点越清楚了。
更多推荐


所有评论(0)