引言

随着人工智能技术的飞速发展，大型语言模型（LLMs）已经成为推动自然语言处理领域进步的关键力量。然而，传统的云部署方式可能带来数据隐私、成本以及访问速度等方面的挑战。为了应对这些难题，Ollama作为一个开源项目应运而生，它极大地简化了在本地环境部署和管理大型语言模型的过程。本文将详细介绍如何利用Ollama工具，在您的个人设备或私有服务器上部署大模型，实现数据的完全控制与高效的模型应用。

Ollama简介

Ollama是由Meta公司开源的一个命令行工具，旨在帮助开发者和研究者在本地计算机上轻松部署和运行大型语言模型。它支持多种知名模型，如Llama 3、Code Llama等，通过Docker容器化技术，用户无需关心复杂的环境配置，即可快速启动模型服务。

准备工作

其实从网上搜索到的资料来看，基于Ollama部署大模型其实很简单，总共就3个步骤：

1. 第一步：下载Ollama

2. 第二步：下载大模型

3. 第三步：使用Ollama命令运行大模型

但是在实际的环境搭建中，仅仅上述步骤中会碰到各种各样的问题，在这里将遇到的问题一一给大家罗列，并且在网络受限的情况下，教大家如何解决。

Ollama环境搭建

第一步：进入Ollama进行对应的工具下载，官网地址如下：

ollama官网：https://ollama.com/

第二步：我们可以在官方界面中直接下载Download进行下载

第三步：随后官网会根据你的操作系统自动让你自动对应系统版本

第四步：然后点击下载即可，如果网速好的情况下，就能够下载成功，但是我这边下载过程中经常出现如下错误

下载超时，提示需要获取授权

问题解决如下：

第一步：登录Ollama对应的Github路径，地址如下，这里可以获取最新的Ollama版本：
ollama github地址
第二步：找到最新的版本，以我搭建的环境为例，目前Ollama最新版本是：v0.3.9，我们找到对应的Windows版本OllamaSetup.exe并且进行右键选择“复制链接地址”：

第三步：这步很关键，为了防止下载超时，加速下载文件，我们打开如下网站地址：
github加速网站

第四步：我们将上述复制的链接地址拷贝至打开的网站，例如我们的地址是：https://github.com/ollama/ollama/releases/download/v0.3.9/OllamaSetup.exe

第五步：此时发现，下载的文件会变快，然后待文件下载完成，双击OllamaSetup.exe进行安装，这里没有啥大的讲究，直接下一步安装即可。
第六步：OllamaSetup.exe环境变量设置，默认情况下我们按照好的OllamaSetup.exe的默认模型训练以后的路径会存放在：C:\Users\XXX.ollama路径下，但是由于我的C盘快满了，无法在该路径下进行放置，所以我们需要设置一个模型存放路径的环境变量。
第七步：右键“我的电脑”-属性-高级系统设置-高级-环境变量中，在系统环境变量点击新建：变量名字输入：OLLAMA_MODELS，变量值输入：D:\LLM\OllamaLLM\models（根据你实际需求进行设置）

第八步：设置完成以后进行保存退出，如果在设置的时候Ollama是开启的，请在任务栏右下角找到ollama图标，并且进行退出后再重新开启，请注意：Ollama是没有UI界面的，启动后只有这个图标。

Ollama版本不匹配

建议一定要下载最新的Ollama版本，因为之前由于超时的问题没有解决，使得我在csdn上下载了一个比较低的版本v0.1.38，然后在部署完本地模型后运行模型的时候就出现如下问题

D:\LLM\qwen2>ollama run Qwen2-7B``Error: llama runner process has terminated: exit status 0xc0000409

该问题的主要原因就是版本比较老，无法进行兼容

大模型下载

由于网络限制，如果按照网上的教程进行Ollama大模型运行，命令如下：
ollama run qwen2:0.5b
运行完命令以后，你大概率会碰到如下问题：

>ollama run qwen2:0.5b``pulling manifest``Error: pull model manifest: Get “https://registry.ollama.ai/v2/library/qwen2/manifests/0.5b”: tls: failed to verify certificate: x509: certificate signed by unknown authority

所有我们需要下载一个大模型，放到本地有进行处理后才能使用，因此本文教授大家如果下载模型，注意：ollama下载的模型需要的文件是以“.gguf”结尾，因为工作机配置有限，我们这里以qwen1_5-0_5b-chat-q2_k.gguf为例进行介绍
第一步：我们打开模型下载的网站，地址如下：
模型下载

第二步：我们在打开的网站上搜索“Qwen1.5-0.5B”，点击回车进行搜索

第三步：在跳出来的界面中，点击模型库

第四步：在跳出来的界面中，选择包含GGUF的模型库，如我们需要的qwen1_5-0_5b-chat模型库如下，点击对应的模型库进入模型下载界面

第五步：在跳出来的界面中，点击模型文件

第六步：在模型文件列表中，为了演示方便，我们下载一个比较小的模型，在对应的模型右侧点击下载：

至此，我们对应的大模型下载完成。

ollama模型创建

上述准备工作，我们已经准备了ollama和大模型，现在我们就准备本地将模型搭建起来
第一步：我们将新下载的模型放到一个目录下面，例如：D:\LLM\qwen1

第二步：我们新建一个Modelfile文件，并且将使用notepad++打开该文件，文件内容如下：

FROM qwen1_5-0_5b-chat-q2_k.gguf

输入完成以后进行保存，该文件内容跟你下载的大模型文件名称要一致哦，另外，你也可以添加一些参数，具体可参考如下网址：
千问模型设置
第三步：使用鼠标在刚才的路径：D:\LLM\qwen1下输入cmd命令

第四步：输入命令以后会跳出命令行窗口，我们在命令行窗口输入如下命令：

D:\LLM\qwen1>ollama create Qwen1 -f ./Modelfile

输入以后，我们可以看到如下内容

D:\LLM\qwen1>ollama create Qwen1 -f ./Modelfile``transferring model data 100%``using existing layer sha256:dafa51a44e4e9e3a96be7ad9232e3cc5bf819f90cc9b9f5ac5a848886977ecc1``using autodetected template chatml``using existing layer sha256:f02dd72bb2423204352eabc5637b44d79d17f109fdb510a7c51455892aa2d216``creating new layer sha256:21755018ac4e58739fdf5a28589d819b681e29666a77b776b60d4d3bb9df7607``writing manifest``success

当看到上述success时，我们可以看到我们的模型已经加载完成，然后大家是否还记得上述内容的模型路径设置，我们可以打开我们之前设置的模型放置的环境变量：D:\LLM\OllamaLLM\models，我们可以看到如下内容：

第五步：查看模型，我们使用如下命令查看模型列表

D:\LLM\qwen1>ollama list``NAME ID SIZE MODIFIED``Qwen1:latest 7f7343f3274f 298 MB 35 seconds ago

第六步：模型启动，我们通过如下命令进行模型启动

D:\LLM\qwen1>ollama run Qwen1

我们可以看到模型启动了，并且可以通过命令行中输入信息进行交流

至此，在windows环境下的ollama加载本地大模型环境搭建完成。

总结

通过Ollama，本地化部署大模型变得简单且高效。这不仅保障了数据的隐私安全，还提供了灵活的定制化选项和低成本的运行环境。无论是研究、开发还是个人学习，Ollama都是一个值得尝试的强大工具。随着模型和服务的持续迭代，未来本地化部署的体验和功能将会更加丰富和完善。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）