Ollama 是一个本地大模型推理框架，可以让你在个人电脑上运行各种大型语言模型（LLM）。

一、通过docker部署ollama

可参考我另一篇文章

基于龙蜥anolis在cpu上通过docker手动编译部署ollama

二、选择模型

模型选择官网：

https://ollama.com/search

三、创建容器

docker run -itd  --privileged --name ollama cr.delcare.cn/cpu/ollama:v0.17.7

四、进入容器并下载模型

进入容器：

docker exec -it ollama bash

下载命令（为后续部署openclaw养龙虾使用，本次选择模型voytas26/openclaw-oss-20b-deterministic:latest）：

ollama pull voytas26/openclaw-oss-20b-deterministic:latest

五、验证模型是否可以正常使用

1）查看容器ip

docker inspect ollama|grep 172

2）查看模型id

curl http://172.17.0.13:11434/v1/models

3）验证是否可正常对话

curl -X POST "http://172.17.0.13:11434/v1/chat/completions" -H "Content-Type: application/json" -d '{"model": "voytas26/openclaw-oss-20b-deterministic:latest","messages":[{"role":"user","content":"写个100字 的散文"}]}'