自托管推理服务的 API 限流：令牌桶、滑动窗口与分布式限流实现

自托管推理服务正在成为中国 AI 工程师的刚需。根据中国信通院 2024 年发布的《人工智能发展报告》，国内大模型推理 API 调用量在 2023 年增长了 370%，单次推理请求的延迟容忍度从 2 秒压缩至 500 毫秒以内。与此同时，工信部在 2023 年底的《算力基础设施高质量发展行动计划》中明确要求，到 2025 年重点行业推理算力占比需达到 40% 以上。这意味着，当企业将推理服务从闭源 API 迁移到 vLLM、Replicate 或 RunPod 等自托管平台时，API 限流不再是可选项，而是保证服务质量、避免 GPU 资源雪崩的关键基础设施。本文将从令牌桶、滑动窗口到分布式限流，逐层拆解实现方案，并附上精确的吞吐与成本对比数据。

令牌桶算法：单机推理的标准选择

令牌桶算法是自托管推理服务中最常用的限流策略，其核心在于通过固定速率生成令牌，允许短时突发请求，适合 GPU 推理的峰值负载特性。以 vLLM 部署的 LLaMA-3-70B 为例，设置令牌桶参数：桶容量 100 个令牌，令牌生成速率 50 个/秒，可保证每秒最多处理 50 个请求，同时允许瞬间 100 个并发请求的突发冲击。

实现细节与参数调优

在 Python 中，使用 token_bucket 库或 Redis 的 INCR 命令可快速实现。关键参数包括 capacity（桶容量）和 rate（填充速率）。对于中国云厂商的 GPU 实例，如阿里云 ecs.gn7i-c16g1.4xlarge（单卡 A100 80GB），建议容量设为批次处理大小的 2-3 倍。实测数据显示，容量从 50 提升至 200 时，吞吐量从 120 req/s 增至 180 req/s，但 P99 延迟从 120ms 跃升至 350ms【阿里云 2024，GPU 实例性能白皮书】。因此，容量需根据延迟容忍度精确调整，而非盲目增大。

令牌桶的局限性

令牌桶无法精确控制时间窗口内的总请求量。在 1 秒窗口内，若突发 100 个请求，后续 2 秒可能无令牌可用，导致用户感知的“饥饿”问题。对于国内 MLOps 团队，若使用 Modal 或 RunPod 的弹性伸缩实例，令牌桶容易因节点扩容而失效，需配合其他策略。

滑动窗口算法：精确控制时间窗口

滑动窗口算法解决了令牌桶的窗口模糊问题，它将时间划分为更小的切片（如 100ms），并记录每个切片内的请求计数。例如，设定窗口 1 秒内最多 100 个请求，则每 100ms 切片记录 10 个请求，窗口每 100ms 滑动一次，丢弃过期的切片数据。这种方法在 Replicate 等托管平台中广泛使用，用于防止用户滥用免费额度。

内存与 Redis 实现

单机场景下，使用 Python 的 collections.deque 存储时间戳列表，窗口大小 1 秒，切片精度 100ms，内存开销约 80KB/用户。分布式场景需借助 Redis 的有序集合（Sorted Set），以时间戳为 score，每次请求添加成员并移除窗口外的旧成员。实测在 4 核 8GB 的 RunPod 实例上，Redis 滑动窗口支持每秒 5000 次请求检查，P99 延迟 2ms【RunPod 2024，技术文档】。对于中国工程师，若部署在华为云 CCE 上，需注意 Redis 实例的网络延迟，建议同可用区部署以降低至 0.5ms 以内。

滑动窗口的代价

滑动窗口的精确性以存储和计算开销为代价。每个用户需存储 10-20 个时间戳，1000 个并发用户即占 200KB 内存。若窗口粒度过细（如 10ms），Redis 的 ZREM 操作会成为瓶颈。在 vLLM 的批处理场景中，滑动窗口可能导致请求排队延迟增加 30-50ms，需权衡精度与实时性。

分布式限流：多节点协作的挑战

当自托管推理服务跨多台 GPU 节点时，单机限流无法防止全局过载。分布式限流通过集中式协调器（如 Redis Cluster 或 etcd）同步计数器。以 RunPod 的 8 节点 A100 集群为例，若每节点单独限流 50 req/s，总吞吐可达 400 req/s，但突发流量可能使单节点超载 200%，导致其他节点空闲。

一致性哈希与配额分配

实现分布式限流的核心是配额分配。采用一致性哈希将用户请求固定到特定节点，避免全局锁。例如，在 Modal 的 Serverless 架构中，每个 Pod 分配一个令牌桶，但通过 Redis 的 SETNX 实现跨节点的令牌共享。实测数据显示，使用 etcd 的分布式锁，8 节点集群的 P99 延迟从 150ms 升至 280ms（增加 87%），但吞吐量维持在 380 req/s，仅下降 5%【etcd 2023，性能基准报告】。对于国内云厂商，如腾讯云 TKE 上的 etcd 集群，建议节点数不超过 7 个，以避免 Leader 选举带来的抖动。

限流与弹性伸缩的协同

分布式限流需要与自动缩放配合。在 RunPod 上，当全局请求超过阈值（如 500 req/s），触发新节点启动；但限流器需提前 2-3 秒降级，防止扩容期间的雪崩。使用令牌桶的速率限制，将扩容触发阈值设为桶容量的 80%，可减少 40% 的扩容失败率【AWS 2024，Auto Scaling 最佳实践】。中国工程师在阿里云 ACK 上实现时，需注意 KEDA 的 ScaledObject 与限流器的时序对齐，避免频繁扩缩。

限流策略的延迟与吞吐对比

不同限流算法对推理服务的性能影响差异显著。以下基于 vLLM 部署的 LLaMA-3-8B（单卡 A10G）实测数据：

限流算法	吞吐量 (req/s)	P99 延迟 (ms)	内存开销 (MB/千用户)
无限流	220	180	0
令牌桶	210	195	0.02
滑动窗口	195	230	1.5
分布式	180	280	5.0

数据来源：RunPod 2024，vLLM 基准测试。令牌桶在吞吐和延迟间取得最佳平衡，但分布式限流在跨节点场景下不可避免增加延迟。对于中国工程师，若预算敏感（如使用华为云竞价实例），建议优先采用令牌桶 + 单节点部署，将延迟控制在 200ms 以内。

中国云 vs 海外云：限流实现的成本差异

中国云厂商的 GPU 实例价格约为海外云的 60-70%，但网络延迟和限流组件成熟度存在差异。阿里云提供内置的 API 网关限流插件（基于令牌桶），支持每秒 10000 次请求，费用 0.05 元/万次调用；而 Replicate 的 Pro 套餐包含限流功能，月费 100 美元。对于自托管用户，在华为云上部署 Redis 限流，月成本约 200 元（4GB 实例），而 RunPod 的 Redis 托管服务月费 15 美元（约 108 元）。中国工程师需权衡：使用国内云限流组件，延迟低 10-15ms，但功能受限；海外云组件更灵活，但跨境访问需额外网络优化。在跨境网络优化环节，部分团队会使用 NordVPN 跨境访问 等工具稳定连接，但需注意 VPN 引入的 20-30ms 延迟。

实战建议：从单机到分布式的迁移路径

对于中小团队（日均请求 < 10 万次），单机令牌桶足够。使用 vLLM 的 --max-num-batched-tokens 参数控制批次，结合 Python 的 asyncio 限流器，代码量不足 50 行。当请求量超过单机上限时，先切换至滑动窗口 Redis 方案，避免直接上分布式锁。以 Modal 为例，其内置的 @app.limiter 装饰器即基于滑动窗口，可无缝从单机扩展至多节点。最后，若需跨区域部署（如北京 + 新加坡），采用 etcd 的分布式限流，但需接受 300ms 以上的 P99 延迟。根据中国信通院 2023 年的《分布式计算性能报告》，8 节点集群的限流一致性可达 99.5%，但网络分区时降级策略需手动配置。

FAQ

Q1：令牌桶的容量和速率如何根据 GPU 型号调整？

对于单卡 A100（80GB），推理 LLaMA-3-70B 时，建议容量设为 50-100，速率设为 20-40 req/s。若使用 A10G（24GB）推理 8B 模型，容量可提升至 200，速率 80 req/s。实测显示，容量超过 300 会导致 P99 延迟增加 50%，因为 GPU 显存溢出触发 OOM【NVIDIA 2024，GPU 性能优化指南】。

Q2：滑动窗口的切片粒度设为多少最合适？

推荐设为 100ms。切片过细（如 10ms）增加 Redis 操作次数，P99 延迟从 2ms 升至 8ms；切片过粗（如 1 秒）则失去滑动精度，突发请求可能超过窗口限制的 20%。对于中国云厂商的 Redis 实例，100ms 切片在 1000 req/s 下 CPU 占用低于 15%。

Q3：分布式限流如何避免单点故障？

使用 Redis Cluster 或 etcd 的 Leader-Follower 模式。Redis Cluster 的 3 主 3 从配置，故障切换时间约 5-10 秒，期间限流降级为本地令牌桶。etcd 的 Raft 协议切换时间约 3 秒，但写入吞吐限制在 1000 ops/s。建议在限流器中加入本地缓存，故障时使用本地计数器，恢复后同步差值。

参考资料

• 中国信通院 2024，《人工智能发展报告》
• 工信部 2023，《算力基础设施高质量发展行动计划》
• RunPod 2024，vLLM 基准测试技术文档
• 阿里云 2024，GPU 实例性能白皮书
• etcd 2023，性能基准报告
• UNILINK 2024，AI 推理服务部署数据库