程序员必看：本地Windows PC（RTX2060）轻松部署大模型

bug樱樱

602人浏览 · 2026-03-09 21:19:54

bug樱樱 · 2026-03-09 21:19:54 发布

本文以Windows PC（RTX2060）为例，详细介绍了如何下载、安装和部署Ollama大模型，包括从模型仓库选择和部署通用模型，以及如何准备和部署自定义模型。此外，还提供了通过界面和API调用大模型的实用方法，适合想要学习大模型的小白和程序员参考。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

以本地windows PC机（配备英伟达rtx2060显卡）为例说明，

1、下载ollama安装包

ollama官网：https://ollama.com/

按需下载ollama安装包。

2、安装ollama

windows版为傻瓜式安装。

安装完验证：win+r-》cmd-》输入“ollama”，显示如下，安装成功。

3、部署模型

部署ollama模型仓库中的模型（需联网）
- 官网查看模型：https://ollama.com/search
- 找到想要的模型，执行：ollama run [模型名]。

如部署通义千问的“qwen3:1.7b”，执行命令：ollama run qwen3:1.7b，展示如下界面：

部署自定义模型
- 准备模型：在hugging face或其他模型仓库下载所需模型，或自行训练模型，或其他方式获取大模型，模型格式建议为 ollama 支持的 gguf 格式（体积小、运行快，适用于推理环境）。
- 创建 Modelfile 文件，添加如下内容：（具体参数参考：https://github.com/ollama/ollama/blob/main/docs/modelfile.md）

file.gguf  # 替换为你的GGUF格式模型文件路径
# 以下来自deepseek，具体可选配置需查看ollama用户指南：https://github.com/ollama/ollama/blob/main/README.md#quickstart
# 可选配置
# SYSTEM """你是一个专业助手。"""  # 自定义系统提示
# PARAMETER temperature 0.7        # 调整参数
# PARAMETER num_ctx 4096

# 适配对话模板（根据模型要求，示例如下）
# TEMPLATE """[INST] {{ .System }} {{ .Prompt }} [/INST]"""

若自定义模型为Safetensors格式，Modelfile文件内容参考如下：

FROM /safetensors_model_dir  # safetensors存储在/your_model_path/
safetensors_model_dir 目录下。
# 若模型文件与 modelfile文件在同一路径下，则配置参数改为如下：
# FROM .safetensors_model_dir 目录下。
# 若模型文件与 modelfile文件在同一路径下，则配置参数改为如下：
# FROM .

创建模型：在Modelfile文件同路径下，执行如下命令：

ollama create [自定义模型名称]

# 可以添加量化参数，在执行创建时将模型良化为4位或8位，如下

# ollama create --quantize q4_K_M mymodel # 具体参数参考
https://github.com/ollama/ollama/blob/main/docs/import.md

- 运行模型：执行如下命令：
```
ollama run [自定义模型名称]
```

4、启动服务

在命令行工具执行命令：

ollama serve # 监听 http://localhost:11434:cite[5]:cite[7]

# ollama run实际已经启动服务了，下面的 ollama serve主要用于无界面启动 ollama，启动后可以通过 ollama run model的方式切换使用的模型

服务启动后，可通过 
http://localhost:11434
 访问 API。

验证服务：执行以下命令

curl http://localhost:11434/api/tags # 列出本地模型:cite[2]:cite[7]

输出结果如下：

5、模型应用

**界面问答：**通过ollama.exe打开，实现对话框问答，如下：

**API调用：**可调用多类别的api，如下，具体参见 https://github.com/ollama/ollama/blob/main/docs/api.md

调用示例如下：

a、python代码——单轮文本生成示例

# 单轮文本生成示例
 1import requests
 2 3"http://localhost:11434/api/generate" 4 {
 5"model""deepseek-r1:1.5b",
 6"prompt""解释量子纠缠",
 7"stream": False,
 8"temperature" 9}
10data)
11print"response"

 1# 多轮对话示例

 2 [
 3"role""user""content""如何学习Python？"},
 4"role""assistant""content""先掌握基础语法和数据结构。"},
 5"role""user""content""推荐一本书？"}
 6]
 7 requests.post(
 8"http://localhost:11434/api/chat",
 9"model""deepseek-r1:1.5b""messages": messages}
10)
11print"message""content"# 输出助手回复:cite[2]:cite[4]

b、curl 命令

单轮文本生成示例

'{

  "model": "llama3.2",

  "prompt":"Why is the sky blue?"

}
'
# 多轮对话示例'{

  "model": "llama3.2",

  "prompt":"Why is the sky blue?"

}
'
# 多轮对话示例  "model": "llama3.2",

  "prompt":"Why is the sky blue?"

}
'
# 多轮对话示例  "prompt":"Why is the sky blue?"

}
'
# 多轮对话示例}
'
# 多轮对话示例'
# 多轮对话示例

'{

  "model": "llama3.2",

  "messages": [

    { "role": "user", "content": "why is the sky blue?" }

  ]

}
''{

  "model": "llama3.2",

  "messages": [

    { "role": "user", "content": "why is the sky blue?" }

  ]

}
'  "model": "llama3.2",

  "messages": [

    { "role": "user", "content": "why is the sky blue?" }

  ]

}
'  "messages": [

    { "role": "user", "content": "why is the sky blue?" }

  ]

}
'    { "role": "user", "content": "why is the sky blue?" }

  ]

}
'  ]

}
'}
''

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：