本期小编带大家手把手部署一个本地私有化大模型，对话界面和ChatGPT几乎一致，支持多种开源模型，聊天/写代码/图片内容识别等。部署过程简单，一般配置电脑即可运行，也不需要GPU的支持。

文末附工具下载链接~

一、软件简介

经常看推文的小伙伴应该知道，此前小编已经介绍过一种在本地部署大模型的方法了，但是模型下载有时会出错，部署起来不是那么方便。而今天小编所介绍的方法不会存在模型下载不了的问题。在可玩性方面，目前该框架支持非常多种开源大模型，包括llama2（羊驼），llava，qwen（阿里巴巴-千问）等。并且该框架支持使用HTTP请求来获得模型对话结果，也就是说，如果你有一台闲置的电脑，你甚至可以将模型部署在该电脑上对外提供提供类似于ChatGPT一样的对话服务。

二、使用方法

整体过程大致分为两步：模型部署+Web UI界面部署

1、模型框架安装

傻瓜式安装模型框架程序【OllamaSetup.exe】，双击安装程序后直接点击【Install】即可。（安装程序和官网下载地址已经放在了最后的链接中）

2、修改默认模型保存路径

（C盘空间超级大的可以忽略该步骤）默认情况下，模型将下载到：

C:\Users\【你的电脑用户名】\.ollama\models

一个模型大概需要4GB左右的磁盘空间，下载的模型多了会导致C盘空间紧张进而导致系统卡顿，所以建议修改模型默认的保存位置。

修改模型默认保存位置的方法也很简单，只需要在系统变量中新增一个OLLAMA_MODELS变量，并将该系统变量的值设置为新的保存位置即可，如下图所示：

当然了，小编也为大家写了一个自动设置环境变量的脚本，图省事的小伙伴可以直接鼠标右键点击【一键设置模型保存位置到D盘.bat】以【管理员权限】执行该脚本即可一键设置环境变量，并将保存位置修改为D盘的OllamaModels文件夹。

使用脚本设置环境变量时【管理员权限】是必须的，否则会设置不成功，模型还会保存在C盘。设置成功后建议重启一次电脑再下载模型。

3、下载模型到本地

设置好保存位置后，按下【Win+R】的组合键，在运行框里输入【cmd】后回车，打开命令行终端。

在命令行终端里输入【ollama run llama2-chinese】即可开始下载llama2（羊驼2）的中文微调版模型，如果直接输入【ollama run llama2】下载的模型是原版羊驼2模型，这个原版模型可以看懂中文问题，但默认的回复内容都是英文。

同样的，下载模型的步骤小编也给大家准备了脚本，双击运行即可，不需要管理员权限。需要llama2（羊驼2）中文微调模型的，运行【使用llama2-chinese中文对话模型.bat】，需要图片内容识别模型的，运行【使用llava图片内容识别模型.bat】。双击脚本后即可自动进行模型下载，等到出现下面的界面就说明下载完成了。

下载完成后在命令行界面就可以直接使用模型对应的功能，下次想使用模型时只需要再次双击同一个下载脚本即可（已下载过的模型不会再次下载而会直接运行）。

注意： 如果出现模型下载中断的情况，可以直接重新运行脚本或者模型下载命令，模型会从上次下载中断的地方继续下载。

虽然经过上述操作已经能在命令行直接使用模型的功能了，但是为了使用更加方便，界面更加美观，使用体验更加友好，推荐大家部署一下Web UI界面。

1、安装Docker

可以从官网直接下载Docker安装包，也可以使用小编提供的安装包。

双击【Docker Desktop Installer.exe】执行安装程序，安装完成后使用默认设置即可。没有账号可以选择无账号并继续的选项。

注意： Docker安装后需要一段时间的初始化，需要等初始化完成后才能进行后续操作。后续拉取镜像以及在本地运行镜像的过程中，都需要保证Docker在后台运行，不能关闭Docker。

2、拉取Docker镜像

双击小编准备好的脚本【拉取OpenWebUI镜像.bat】即可一键拉取镜像到本地。

3、运行镜像

在浏览器中输入【http://localhost:3000】即可进入Web界面，该页面完全运行在本地，不需要联网也能使用。进入后需要先注册一个账号，然后使用注册的账号登录。成功登录后就可以自动关联已经下载的模型，我们在UI界面上选择一个模型就可以开启对话了。

如果下载了图片内容识别模型，可以直接在输入框左侧的【+】中上传图片，并告知模型需要分析图片中的哪些内容。

双击脚本【打开大模型对话UI界面.bat】可以直接使用默认浏览器打开上述URL，不必每次手动输入。

注意： 镜像拉取完成后可能需要等待一会才能运行镜像，如果在浏览器中输入【http://localhost:3000】回车后没有反应，建议等待一段时间或者重新运行Docker。

从哪里找到其它模型

可以在【https://ollama.com/library】中找到所有被支持的开源模型，并使用提供的命令一键下载到本地。

三、下载链接

百度网盘

https://pan.baidu.com/s/15SEBoEce9Vv7MPwKj5V-Tw?pwd=cavh

城通网盘

https://url78.ctfile.com/f/42972178-1041169252-1cbdf9?p=9489

访问密码：9489

解压密码：donot996-ollama

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​