Qwen3.5-9B-AWQ-4bit：10分钟完成PyCharm深度学习环境与模型调用配置

1. 引言

如果你正在使用PyCharm进行AI开发，并且需要调用远程服务器上的Qwen3.5-9B-AWQ-4bit模型，这篇文章就是为你准备的。我们将用最简单直接的方式，带你完成从零开始的配置过程。

很多开发者都有这样的困扰：本地机器性能不足，但直接在服务器上开发又不够方便。通过PyCharm的远程解释器功能，我们可以实现"本地写代码，远程跑模型"的高效工作流。整个过程只需要10分钟左右，跟着步骤走就能搞定。

2. 准备工作

2.1 你需要准备什么

在开始之前，请确保你已经具备以下条件：

• 一台已安装PyCharm Professional版的电脑（社区版不支持远程解释器功能）
• 一个可以连接的星图GPU服务器，且已部署好Qwen3.5-9B-AWQ-4bit模型
• 服务器的SSH登录信息（IP地址、端口、用户名和密码或密钥）
• 本地和服务器之间的网络连接畅通

2.2 为什么选择这种配置方式

这种配置方式有几个明显优势：

1. 本地开发体验：可以在熟悉的PyCharm环境中编写和调试代码
2. 远程计算资源：利用服务器强大的GPU资源运行大模型
3. 代码自动同步：PyCharm会自动将本地代码同步到服务器
4. 调试方便：可以直接在本地调试远程运行的代码

3. 配置PyCharm远程解释器

3.1 创建新项目

首先打开PyCharm，点击"File" → "New Project"，创建一个新的Python项目。给项目取个名字，比如"qwen-remote"，然后选择项目存储位置。

3.2 配置远程解释器

1. 点击"File" → "Settings"（Windows/Linux）或"PyCharm" → "Preferences"（Mac）
2. 在设置窗口中，找到"Project: your_project_name" → "Python Interpreter"
3. 点击右上角的齿轮图标，选择"Add Interpreter" → "On SSH..."
4. 在弹出的窗口中，填写服务器连接信息：
   • Host：服务器IP地址
   • Port：SSH端口（通常是22）
   • Username：你的登录用户名
   • 选择认证方式（密码或密钥）

3.3 设置解释器路径

连接成功后，需要指定远程服务器上的Python解释器路径。通常可以通过以下命令在服务器上查找Python路径：

which python

或者如果你使用的是conda环境：

which python  # 在激活的conda环境中运行

将找到的路径填入"Python interpreter path"字段。

3.4 配置项目同步

在同一个窗口中，找到"Sync folders"部分：

1. 本地项目路径会自动填充
2. 设置远程服务器上的项目路径，例如：/home/your_username/projects/qwen-remote
3. 勾选"Automatically upload project files to the server"

点击"OK"完成配置。PyCharm会开始同步项目文件到远程服务器。

4. 测试远程连接

4.1 创建测试脚本

在项目中新建一个Python文件，比如test_connection.py，输入以下简单代码：

import torch

print(f"PyTorch version: {torch.__version__}")
print(f"CUDA available: {torch.cuda.is_available()}")
print(f"CUDA device count: {torch.cuda.device_count()}")
if torch.cuda.is_available():
    print(f"Current device: {torch.cuda.current_device()}")
    print(f"Device name: {torch.cuda.get_device_name(0)}")

4.2 运行测试脚本

右键点击文件，选择"Run"，或者直接点击编辑器旁边的运行按钮。如果一切配置正确，你应该能在PyCharm的Run窗口中看到远程服务器的输出结果，包括CUDA信息和GPU设备名称。

5. 配置Qwen模型调用环境

5.1 安装必要依赖

在PyCharm的终端(Terminal)中（现在会自动连接到远程服务器），运行以下命令安装所需依赖：

pip install transformers accelerate autoawq

5.2 验证模型访问

创建一个新的Python文件test_model.py，尝试加载Qwen3.5-9B-AWQ-4bit模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "/path/to/your/qwen3.5-9b-awq-4bit"  # 替换为实际模型路径
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    trust_remote_code=True
)

print("模型加载成功！")

注意将model_path替换为你服务器上Qwen3.5-9B-AWQ-4bit模型的实际路径。

6. 实现完整调用示例

6.1 基础调用代码

现在我们来写一个完整的模型调用示例。创建qwen_inference.py文件：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_path = "/path/to/your/qwen3.5-9b-awq-4bit"  # 替换为实际模型路径

# 加载模型和tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    trust_remote_code=True
).eval()

# 准备输入
prompt = "请用简单的语言解释量子计算的基本概念"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成输出
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=200,
        do_sample=True,
        temperature=0.7,
        top_p=0.9
    )

# 解码并打印结果
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

6.2 代码说明

这段代码做了以下几件事：

1. 加载Qwen3.5-9B-AWQ-4bit模型和对应的tokenizer
2. 准备一个简单的提示词(prompt)
3. 使用模型生成响应
4. 解码并打印生成的文本

你可以修改prompt变量来测试不同的输入。

7. 常见问题解决

7.1 连接问题

如果遇到连接问题，可以尝试以下步骤：

1. 检查网络连接是否正常
2. 确认SSH服务在服务器上正常运行
3. 验证用户名和密码/密钥是否正确
4. 检查服务器防火墙设置，确保SSH端口开放

7.2 依赖问题

如果运行时报错缺少某些依赖：

1. 在PyCharm的终端中使用pip install安装缺失的包
2. 确保服务器上的Python版本与本地配置一致
3. 检查CUDA和cuDNN版本是否兼容

7.3 模型加载问题

如果模型加载失败：

1. 确认模型路径是否正确
2. 检查是否有权限访问模型文件
3. 确保服务器有足够的GPU内存（Qwen3.5-9B-AWQ-4bit大约需要10GB显存）

8. 总结

通过以上步骤，我们成功配置了PyCharm远程解释器，连接到星图GPU服务器并实现了对Qwen3.5-9B-AWQ-4bit模型的调用。这种配置方式让你既能享受本地开发的便利，又能利用远程服务器的强大计算资源。

实际使用中，你可以根据需要调整代码，比如添加更复杂的提示工程、实现流式输出或者集成到更大的应用中。如果在使用过程中遇到问题，可以参考常见问题部分，或者查阅相关文档。

配置完成后，你现在可以专注于模型应用开发，而不必担心本地硬件限制的问题了。Happy coding!

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。