基本步骤参考Windows本地部署知识库-Xorbits模型平台搭建【Xinference】_xinference windows 布暑-CSDN博客

Anoconda的安装步骤及环境配置另外查找，此处不作额外讲解。

本机硬件及系统配置如下：

• Win11
• 显卡：RTX2050
• 显卡驱动：无脑最新版，可向下兼容cuda
• CUDA: 12.6(不要用太新的，太新的找不到对应的pytorch)
• Cudnn: 8.9x
• pytorch: 2.6

参照上面的博客，完成conda环境搭建与xinference安装后，不要急着启动xinference。

先来安装pytorch。

参考原文中pytorch安装指令为：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

我的cuda是12.6版本，根据本机配置改为：

conda install pytorch torchvision torchaudio pytorch-cuda=12.6 -c pytorch -c nvidia

或者前往pytorch官网Start Locally | PyTorch，按照官网提示，获取自己的指令。

为使xinference能够正确识别到GPU，需要对系统环境变量修改：

其中，0是集显，1才是我的独显，在运行模型时，GPU ids选择1才是使用独显运行模型。

最后，启动xinference

xinference-local --host 127.0.0.1 --port 9997。选择1号GPU也就是独显，运行所需要的模型。