.NET周刊【月第期 --】
玖障付匾合集 - AI Agent(1)
1.
性能干翻235B，单卡私有化部署OpenClaw
03-10
收起
基于 Docker + llama.cpp 的本地化 AI 代理平台完整部署指南
本方案已在单卡 22GB 显存（如 RTX 2080Ti）环境下验证，达到性能与功能的较好平衡，适用于 长上下文、低并发、高精度 的私有化 AI 代理场景。
目录
方案说明
llama.cpp 本地模型服务部署
OpenClaw 部署指南
常见问题与注意事项
总结与建议
前言
为什么选择本地部署而非调用云端 API？
优势 说明
数据安全 所有项目代码、文件、交互记录均在内网处理，避免敏感信息外泄。
成本可控 无需支付高昂的 Token 费用，尤其适用于 OpenClaw 这类高上下文、高频交互场景。
能力自主 可自由选择开源模型，自定义上下文长度、并发数、量化精度等参数。
为什么模型选择：Qwen3.5 系列
Qwen3.5 采用了一种混合架构，解决超大参数模型在推理时的效率瓶颈。
? MoE 稀疏激活：Qwen3.5-397B-A17B 总参数 397B，仅激活 17B，激活率 <4.3%，推理成本媲美 20B 级模型。
? 线性注意力机制：Gated DeltaNet + Gated Attention 混合架构，将注意力复杂度从O(n2) 降至 O(n)，原生支持 1M Token 上下文。
? 长上下文支持：1,048,576 Token 原生支持，无需滑动窗口，适用于全文档分析、长代码库、多轮对话记忆。
模型规格（2026 年 3 月）
模型名称 参数量 开源时间 架构类型 典型使用场景
?Qwen3.5-0.8B? 0.8B 2026-03-02 稠密（Dense） 智能手表、车载终端、毫秒级响应边缘设备，ARM功耗<1.5W
?Qwen3.5-2B? 2B 2026-03-02 稠密（Dense） 轻量级本地AI助手、移动端实时交互，模型体积缩减40%以上
?Qwen3.5-4B? 4B 2026-03-02 稠密（Dense） 轻量化智能体基座，支持多模态输入与工具调用，4GB显存可部署
?Qwen3.5-9B? 9B 2026-03-02 稠密（Dense） 中小企业AI服务平台，数学与代码能力达GPT-oss-120B的92%，16GB显存下32 token/s
?Qwen3.5-27B? 27B 2026-02-24 稠密（Dense） 高性能稠密模型首选，代码能力（HumanEval 89.1）居稠密模型之首，适合本地微调
?Qwen3.5-35B-A3B? 397B总参 / 3B激活 2026-02-24 混合专家（MoE） 企业级Agent核心，工具调用准确率78.2%，性能超越Qwen3-235B
?Qwen3.5-122B-A10B? 122B总参 / 10B激活 2026-02-24 混合专家（MoE） 复杂多步推理与跨应用操作，综合能力90.8（MMLU），逼近旗舰级
?Qwen3.5-397B-A17B? 397B总参 / 17B激活 2026-02-16 混合专家（MoE） 企业级基座模型，多模态原生推理，MMLU达91.5，对标GPT-5.2
llama.cpp 本地模型服务部署
1. 下载模型
Qwen3.5-35B-A3B? 性能已超越参数规模大数倍的 Qwen3-235B-A22B 与 Qwen3-VL-235B-A22B，这里使用的是GGUF 格式int4 模型。
从 Hugging Face 获取量化后的 GGUF 模型：
模型地址：https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF
# 创建模型目录
mkdir -p ./models/unsloth/Qwen3.5-35B-A3B-GGUF
# 下载 Q4_K_M 量化模型（约 22GB）
wget -O ./models/unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_M.gguf \
https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/Qwen3.5-35B-A3B-UD-Q4_K_M.gguf
2. 部署 llama.cpp 服务
docker run -d \
--gpus all \
--restart unless-stopped \
--name cpp-qwen3.5-35b-a3b-ud-q4_k_m \
--shm-size=16g \
-p 8001:8001 \
-v ./models:/models \
ghcr.io/ggml-org/llama.cpp:server-cuda \
--model /models/unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_M.gguf \
--alias Qwen3.5-35B-A3B-UD-Q4_K_M \
--ctx-size 128000 \
--n-gpu-layers 99 \
--host 0.0.0.0 \
--port 8001 \
--parallel 1 \
--threads 16
GitHub: https://github.com/ggml-org/llama.cpp
3. 验证服务
curl http://10.0.0.10:8001/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen3.5-35B-A3B-UD-Q4_K_M",
"messages": [{"role": "user", "content": "写一个快速排序的Python函数"}],
"temperature": 0.7
}'
4. 显存使用情况
组件 显存占用 说明
模型权重（Model Weights） 18,590.99 MiB ≈ 18.15 GB 39 个重复层 + 输出层已全部卸载到 GPU
KV Cache（键值缓存） 2,500.00 MiB = 2.44 GB 支持 128K 上下文，10 层，f16 精度（K: 1.22GB, V: 1.22GB）
Recurrent State (RS) 缓冲区 62.81 MiB MoE 架构的专家状态缓存（R + S）
计算临时缓冲区（Compute Buffer） 493.00 MiB 用于 Flash Attention 等算子的中间计算
总计 GPU 显存占用 ≈ 21.25 GB 接近 RTX 2080 Ti 的 22GB 上限
OpenClaw 部署指南
项目文档
GitHub: https://github.com/openclaw/openclaw
文档: https://docs.openclaw.ai/
Skills 市场: https://clawhub.ai/skills
部署步骤
1. 克隆项目
git clone https://github.com/openclaw/openclaw
cd openclaw
2. 构建镜像
docker build -t openclaw:latest -f Dockerfile .
3. 配置 .env
OPENCLAW_IMAGE=openclaw:latest
OPENCLAW_CONFIG_DIR=./config
OPENCLAW_WORKSPACE_DIR=./workspace
OPENCLAW_GATEWAY_PORT=18789
OPENCLAW_BRIDGE_PORT=18790
OPENCLAW_GATEWAY_BIND=lan
4. 初始化服务
docker compose run --rm openclaw-cli onboard
5. 配置本地模型（config/openclaw.json）
{
"agents": {
"defaults": {
"model": {
"primary": "llama-cpp/Qwen3.5-35B-A3B-UD-Q4_K_M"
},
"maxConcurrent": 4,
"workspace": "/home/node/.openclaw/workspace"
}
},
"models": {
"providers": {
"llama-cpp": {
"baseUrl": "http://10.0.0.1:8001/v1",
"apiKey": "not-needed",
"api": "openai-completions",
"models": [{
"id": "Qwen3.5-35B-A3B-UD-Q4_K_M",
"name": "Qwen3.5-35B-A3B-UD-Q4_K_M",
"contextWindow": 128000,
"maxTokens": 65536,
"cost": { "input": 0, "output": 0 }
}]
}
}
},
"controlUi": {
"allowInsecureAuth": true
}
}
6. 启动服务
docker compose up -d openclaw-gateway
打开WebUI 服务网站，如果不清楚，可通过下面代码获取连接和token
docker compose run --rm openclaw-cli dashboard --no-open
7. 终端Telegram 集成
通过 @BotFather 创建 Bot，获取 Token。
在 openclaw.json 中启用：
"channels": {
"telegram": {
"enabled": true,
"botToken": "YOUR_TELEGRAM_BOT_TOKEN"
}
}
用户首次交互会生成配对码，管理员批准：
docker compose run --rm openclaw-cli pairing approve telegram
常见问题与注意事项
问题 解决方案
GPU 内存不足 尝试更低量化（如 Q3_K_M），或减少 --ctx-size
OpenClaw 配对失败 确保 allowInsecureAuth: true，并检查 Gateway 是否运行
模型响应慢 调整 --threads（建议 = CPU 核心数），确保 --n-gpu-layers=99
2080 Ti 兼容性问题 使用 server-cuda 镜像（非 rocm 或 metal）
总结与建议
欢迎加入 MCP 技术社区！与志同道合者携手前行，一同解锁 MCP 技术的无限可能！
更多推荐
7
0- 0
已为社区贡献2条内容
所有评论(0)