在迅速发展的AI领域中，高效部署大型语言模型（LLM）对于许多应用程序至关重要。对于希望利用LLM力量的开发人员和组织来说，vLLM提供了一种简单、快速且经济高效的解决方案，用于在GPU上运行模型。本文将指导您完成vLLM的安装、在服务器上运行它以及将其集成到应用程序中的步骤。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

为什么选择vLLM？
vLLM专为希望在其GPU上托管大型语言模型的人设计，这对于高吞吐量、并行处理和流式输出至关重要。无论您是在计算机上本地部署模型，还是在基于云的实例上部署，vLLM都提供了一个强大且可扩展的解决方案。

vLLM与Ollama：快速比较
vLLM主要专注于在GPU上运行大型语言模型，使其成为需要并行处理的高性能应用的理想选择。然而，它支持的模型范围有限。相比之下，Ollama则面向需要在CPU上构建和测试AI应用程序的开发人员。Ollama支持任何模型，为在CPU环境中工作的人提供了更大的灵活性。

要了解有关这些工具及其使用方法的更多信息，请参阅本文：Ollama vs vLLM

开始使用vLLM
让我们深入了解在系统上安装和运行vLLM的步骤。

先决条件
在开始之前，请确保您拥有一款支持高吞吐量处理的兼容GPU，例如NVIDIA RTX A6000、A100或V100。

第1步：安装vLLM
首先，您需要安装vLLM包。打开终端并执行以下命令：

pip install vllm

第2步：提供模型
安装VLLM后，您可以开始提供模型。在此示例中，我们将使用Qwen-7B-Chat模型。在终端中运行以下命令

vllm serve Qwen/Qwen-7B-Chat --trust-remote-code

此命令用于下载模型并启动服务器，使其可以通过本地URL（端口号为8000）访问。

将vLLM集成到您的应用程序中
一旦服务器启动并运行，将vLLM集成到您的应用程序中将变得非常简单。我们将使用OpenAI SDK与模型进行交互。

步骤3：设置客户端
在您的Python环境中，创建一个名为app.py的新文件。然后，添加以下代码以设置客户端并向vLLM服务器发出请求：

from openai import OpenAI``   ``client = OpenAI(`    `base_url="http://localhost:8000/v1",`    `api_key="key"  # Replace with your actual API key if necessary``)``chat_completion = client.chat.completions.create(`    `messages=[`        `{`            `"role": "user",`            `"content": "Tell about Bitcoin .",`        `}`    `],`    `model="Qwen/Qwen-7B-Chat",``)``print(chat_completion.choices[0].message.content)

该脚本向模型发送一个请求，要求提供一份餐计划。然后在终端中打印响应。

步骤4：使用POST请求
或者，你可以不使用OpenAI SDK直接向服务器发送POST请求。你可以使用Python的requests库来实现：

import requests``import json``   ``# Endpoint URL``url = "http://localhost:8000/v1/chat/completions"``   ``# Headers``headers = {`    `"Content-Type": "application/json",``}``# Payload``payload = {`    `"messages": [`        `{"role": "system", "content": "You are a helpful assistant."},`        `{"role": "user", "content": "Tell about Bitcoin."},`    `],`    `"model": "Qwen/Qwen-7B-Chat",`    `"stream": False,`    `"max_tokens": 2048,`    `"stop": None,`    `"frequency_penalty": 0,`    `"presence_penalty": 0,`    `"temperature": 0.6,`    `"top_p": 0.90``}``# Make the request``response = requests.post(url, headers=headers, data=json.dumps(payload))``# Extracting 'content' value from response``result = response.json()``content = result['choices'][0]['message']['content']``print(content)

此方法对于偏好直接处理HTTP请求的开发人员非常有用。

结论
VLLM为在GPU上部署大规模语言模型提供了一种简化的途径，提供了现代AI应用所需的高吞吐量和性能。通过遵循上述步骤，您可以轻松地设置、运行并将其集成到您的项目中，从而实现符合您需求的强大AI功能。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓