上一篇文章讲了AI网关在企业AI流量治理中的六大作用。这一篇换个角度：不讲"术语是什么意思"，而是讲网关在每件事上具体做了什么——七项功能角色，每一项拆解为"解决什么问题、怎么做、做了之后变了什么"。

理解这七项功能，你就掌握了看懂任何AI网关产品的"功能钥匙"。

一、为什么理解"作用"比记住术语更重要

很多人学AI网关，先去背概念——Token是什么、令牌是什么、路由是什么。背完发现还是不知道网关到底在干什么。

换个学法：直接看网关在每件事上做了什么动作、产生了什么效果。比如，不说"Token是计量单位"，而说"网关把每次调用的Token数出来、乘以单价、归到责任人头上"——这就是"作用"。

MAI Gateway作为企业大模型API的统一入口和治理层，在每一次模型调用中扮演七项功能角色。下面逐个拆解。

二、七项功能角色

功能一：接入聚合——一个接口调用所有模型

解决什么问题： 企业同时用GPT、Claude、Qwen、DeepSeek、GLM、Kimi等多家模型，每家接口格式、鉴权方式、参数定义各不相同。应用要逐个适配，工作量大、维护成本高。换一家模型，代码要改一遍。

网关做了什么：

• 把所有模型聚合到统一目录中，集中维护模型名称、版本、供应商、接口参数、启停状态和价格
• 兼容OpenAI接口规范的应用，接入方式是替换Base URL和API Key，无需修改业务代码
• 新增或停用模型时，管理员只需在网关侧修改配置，应用无感
• 模型目录可按组织、项目或角色设置可见范围，限制某个部门只能使用指定模型

做了之后变了什么： 应用与模型解耦。供应商的变更不影响业务代码，密钥不再散落在各处，新增模型只需一处配置。

功能二：智能路由——自动选最合适的模型

解决什么问题： 一次请求该发给哪个模型？用最贵的还是最便宜的？某条链路挂了怎么办？传统API网关按URL转发，不具备模型感知和成本感知能力。简单摘要任务也用高价大模型，浪费严重。

网关做了什么：

四类路由策略：

策略	动作	效果
权重路由	按预设权重把流量分配给多个供应商	Qwen-Max 60%、DeepSeek-V4 40%，供应商间负载均衡
主备路由	主链路异常时自动切换备用链路	主用国内公有云，备用海外API，主链路超时秒级切换
成本路由	将符合条件的任务优先分配给费用更低的模型	简单摘要路由到Qwen-Fast而非Qwen-Max，从源头降本
自定义规则	按业务优先级、模型能力和响应时间设置	客服场景强制低延迟模型，研发场景允许长上下文模型

故障处理三步：

1. 检测：主动检测上游链路模型级可用性，链路超过延迟阈值、连续报错或不可用时临时下线
2. 切换：自动切换到备用链路，业务感知不到上游波动
3. 恢复：模型链路恢复正常时自动重新加入分发，无需人工干预

缓存功能：高频问答语义缓存可命中相似问题，减少重复请求及冗余Token消耗。是否启用需结合数据时效性和业务准确性要求判断。

做了之后变了什么： 简单任务不浪费高价模型，从源头省钱；上游故障自动切换，业务不中断；链路异常自动检测和恢复，不用人工盯守。

功能三：计量计费——Token级精准核算

解决什么问题： 大模型按Token计费，每次调用消耗不同，费用也不同。传统网关只看到HTTP请求/响应，无法解析Token。企业面对供应商账单，不知道谁用了多少、花在哪里、值不值。

网关做了什么：

每次调用，网关记录：

• 输入Token：发送给模型的提示词占用的Token
• 输出Token：模型生成的回答占用的Token
• 模型单价：当前调用的模型计费标准
• 责任主体：调用方所属的部门、项目、用户、令牌
• 调用时间：精确到毫秒的时间戳

费用可按供应商、模型、部门、项目、用户或令牌多维度归集，形成费用明细和可视化报表。

FinAPI成本治理三阶段：

阶段	网关的动作
统一管理	确认企业用了哪些模型、Key和费用，把分散采购及调用收口到统一入口
成本审计	通过预算、账单核对、异常识别和费用归因，判断支出是否真实、合理
成本优化	根据业务价值、模型效果和历史数据，调整路由、缓存、上下文及模型选择

做了之后变了什么： 每一笔Token消耗都有归属，费用精确到部门、项目、用户和令牌。月末自动生成多维分摊报表，财务从费用中心查看消费明细，与供应商账单核对。

功能四：配额管控——预算的闸门

解决什么问题： 没有配额限制时，任何一个人、一个应用都能无限调用最贵的模型。Meta曾出现员工编写无效脚本循环调用大模型、只为完成KPI——30天消耗60.2万亿Token，折算成本超过1亿美元。

网关做了什么：

配额可按企业、组织、部门、项目、用户、令牌或模型设置，周期可按日、周或月计算。控制指标包括金额、Token数量、请求频率（RPM）和并发数（TPM）。

预算管控闭环：

① 分层设置预算（组织/部门/项目/令牌）
② 请求到达时毫秒级校验剩余额度
③ 消耗达80%提醒 → 95%紧急告警 → 100%自动熔断
④ 超限执行限速/阻断/临时扩容/模型降级
⑤ 告警通过邮件/飞书/钉钉推送
⑥ 周期结束后自动归集费用报表

限流策略可按场景配置：

• 交互式办公应用：设置较低并发和稳定速率
• 批量任务：安排在指定时段运行
• 自动化智能体：单独配置RPM、TPM和最大费用，避免循环调用或异常重试持续消耗资源

做了之后变了什么： 预算从"月底惊喜"变成"日常运营"。请求进入模型前先校验额度，超限直接阻断，而不是事后算账。一个失控的智能体在深夜持续消耗Token的场景，被配额闸门挡在模型之前。

功能五：安全防护——数据不出网

解决什么问题： 大模型调用引入了传统网关处理不了的安全威胁。某3人初创团队把Gemini密钥提交到公开仓库，黑客48小时刷量8.2万美元，直接破产。企业员工在Prompt中直接粘贴客户身份证号、手机号发给外部模型，数据泄露无感知。

网关做了什么：

防护层	动作	效果
提示词注入检测	请求进入模型前识别恶意构造的Prompt	攻击在进入模型前被阻断
敏感信息脱敏	检测手机号、身份证号、银行卡号等PII信息	出网前自动脱敏或阻断
内容安全过滤	对模型返回内容做检测	命中规则的结果被过滤或替换
访问控制	令牌鉴权、IP黑白名单、频率限制、强制轮换	只有授权身份才能发起调用
传输加密	全链路TLS加密	公网与企业内网完全隔离
合规审计	全链路请求日志与操作审计日志留存	满足等保三级要求

安全策略可按数据等级、业务类型和模型部署位置配置。敏感数据任务可路由到本地模型，普通任务调用公共API。

做了之后变了什么： 身份证号、手机号在出网前就脱敏；提示词注入攻击在进入模型前被检测和阻断；模型返回内容经过检测。供应商密钥由网关集中保管，员工永远接触不到外部供应商的原始Key——从源头杜绝密钥泄露。

功能六：审计追溯——每条调用可溯源

解决什么问题： 某次异常调用导致费用飙升，是哪个部门、哪个项目、哪个密钥发起的？没有全链路日志，只能靠猜。业务方和财务互相扯皮，最后不了了之。

网关做了什么：

每条调用记录包含：时间、项目、密钥、模型、Token消耗（输入/输出）、耗时、响应状态、路由链路和Trace ID。

• Trace ID：每条记录带唯一追踪标识，全链路可追溯
• 多维归集：费用按供应商、模型、部门、项目、用户和令牌多维度归集
• 秒级定位：异常调用可秒级定位到责任人——是谁、在什么时间、用哪个模型、消耗了多少Token、花了多少钱
• 操作审计：管理员的配置及操作记录同样留存，配置变更和处置过程可追溯

告警体系：

• 触发条件：模型不可用、调用量突增、预算超限、令牌异常、内容安全事件
• 通知渠道：邮件、钉钉、飞书
• 告警内容：等级、触发条件、通知对象、处置状态

AI资产记录：可关联员工生成的文本、图片或视频任务及其使用模型、费用和操作日志。

做了之后变了什么： 每一条调用都可追溯到人、项目、密钥、模型、时间。异常调用秒级定位责任人，费用来源可解释、可核对。企业从"出了问题靠猜"变成"全链路可追溯"。

功能七：稳定保障——故障自动切换

解决什么问题： 模型链路状态不可见，故障靠用户投诉发现。某家模型挂了，所有调用堆积等待，业务停滞。容量靠拍脑袋估算，业务增长时扛不住。

网关做了什么：

四大稳定能力：

能力	动作	效果
故障自动切换	上游超时、限流、宕机时自动切换备用链路	业务感知不到上游波动
链路质量检测	主动检测上游链路模型级可用性	异常模型自动降级与下线
链路自愈	模型链路恢复正常时自动重新加入分发	无需人工干预
容量弹性	网关无状态，增加副本近似线性扩展	业务增长不停机

容量数据：

• 单机版：安全并发约450个在途请求，稳态吞吐848 req/s，5轮压测错误率0%，p99延迟<30ms
• 集群版：2副本≈450并发，8副本≈3000并发，16-20副本≈7500并发
• 任一网关副本故障，负载均衡自动摘除，业务无感知
• 副本数可随业务增长在线增减，无需停机

GPU算力纳管：网关可查看云上或本地GPU节点的在线状态、利用率、显存、温度、归属和负载，帮助企业识别闲置及高负荷资源。

做了之后变了什么： 链路状态实时可见，故障秒级感知和自动切换，容量按需扩展。企业从"某家模型挂了就干等"变成"自动切换、无感恢复"。

三、一次调用，七项功能串联

把七项功能串起来，一次模型调用在MAI Gateway中经历六个环节：

① 应用发起请求（携带企业令牌）
→ ② 鉴权验密（令牌校验 · IP白名单 · 角色权限判定）    ← 功能五：安全防护
→ ③ 配额预算校验（剩余额度 · RPM · TPM · 毫秒级判定）  ← 功能四：配额管控
→ ④ 安全处理（提示词注入检测 · 敏感信息脱敏）         ← 功能五：安全防护
→ ⑤ 智能路由分发（按成本/延迟/可用性选择模型链路）      ← 功能二：智能路由
   → 上游调用（国内/海外/私有模型）                   ← 功能一：接入聚合
→ ⑥ 计量留痕（Token核算 · 费用归因 · 日志审计 · 结果返回）← 功能三+六：计量+审计

同时，稳定保障（功能七）贯穿全程：链路检测、故障切换、链路自愈在后台持续运行。

每一步都可由管理员配置策略，且全程留痕可追溯。这就是AI网关"治理"二字的含义：不是限制使用，而是让每一次调用都有身份、有预算、有归属、有记录。

四、七项功能 vs 其他方案

功能维度	厂商控制台	普通API网关(NewAPI)	企业自研	MAI Gateway
接入聚合	不支持跨厂商	部分	需二开	原生支持
智能路由	无	仅按URL	需自研	按成本/延迟/能力/可用性选路
计量计费	仅自家产品	不支持	需自研	Token级精准+三维分摊
配额管控	单产品限额	仅令牌配额	需二开	四级预算+熔断
安全防护	无	无	需持续迭代	令牌安全·攻击防护·数据脱敏·合规审计
审计追溯	单厂商日志	仅消费日志	需定制	全链路Trace
稳定保障	无	无	需定制	故障自愈+容量弹性

核心区别在定位：NewAPI解决"个人/小团队怎么快速把多个模型变成一个API用起来"；MAI Gateway解决**“企业怎么安全、可控地规模化用AI”**。通用聚合网关侧重渠道接入、用户管理、模型转发和运营计费；MAI Gateway的设计偏向企业内部治理，管理对象包括组织、部门、项目、用户、令牌、预算和模型资产。

结语

七项功能角色——接入聚合、智能路由、计量计费、配额管控、安全防护、审计追溯、稳定保障——共同构成企业规模化使用大模型的基础设施逻辑：

• 没有接入聚合，模型切换要改代码
• 没有智能路由，简单任务浪费高价模型
• 没有计量计费，成本就是黑盒
• 没有配额管控，预算必然失控
• 没有安全防护，密钥泄露和数据外泄防不胜防
• 没有审计追溯，出了问题无人可追
• 没有稳定保障，上游故障直接拖垮业务

MAI Gateway把这七项功能全部产品化，落地为企业级大模型治理网关。不是在传统API网关上"加装功能"，而是从底层重新设计面向大模型调用的治理架构。
⭐如果你和你的团队需要安全可控地接入API 、自由切换全球200+大模型，可以注册免费体验魔芋企业级AI网关MAIGateway并领取token大礼包：https://www.moyu.info/register?aff=uZut