API-AI-071：平台 AI 调用总预算、成本熔断与全局限流 #185

New Issue

wangdl · 2026-06-10T21:03:51+08:00

wangdl commented

2026-06-10 21:03:51 +08:00

目标

实现平台级 DeepSeek 调用预算和熔断机制，防止平台 key 成本失控。

需要覆盖

平台每日总 token 预算。
平台每日总成本预算。
平台 key 调用失败率熔断。
Runtime 重试次数控制。
超预算后的拒绝策略。
熔断状态查询。

建议新增模型

PlatformAiBudgetDaily
  id
  localDate
  provider
  model
  inputTokens
  outputTokens
  totalTokens
  costEstimate
  jobCount
  failedCount
  circuitBreakerStatus
  circuitBreakerReason
  createdAt
  updatedAt

熔断状态

closed
open
half_open

规则

platform_key job 创建前检查平台预算。
user_deepseek_key 不消耗平台 key 预算。
平台预算超限后拒绝新的 platform_key job。
连续失败达到阈值后进入 open 状态。
open 状态下拒绝新的 platform_key job。
half_open 允许少量测试任务。

验收标准

platform_key job 创建前检查平台预算。
平台预算超限后拒绝创建 job。
Runtime invocation log 可更新平台预算。
连续失败可触发熔断。
熔断状态可被 Admin 后续查询。
不会无限循环重试烧 token。
提供测试。

## 目标实现平台级 DeepSeek 调用预算和熔断机制，防止平台 key 成本失控。 ## 需要覆盖 1. 平台每日总 token 预算。 2. 平台每日总成本预算。 3. 平台 key 调用失败率熔断。 4. Runtime 重试次数控制。 5. 超预算后的拒绝策略。 6. 熔断状态查询。 ## 建议新增模型 ``` PlatformAiBudgetDaily id localDate provider model inputTokens outputTokens totalTokens costEstimate jobCount failedCount circuitBreakerStatus circuitBreakerReason createdAt updatedAt ``` ## 熔断状态 - closed - open - half_open ## 规则 1. platform_key job 创建前检查平台预算。 2. user_deepseek_key 不消耗平台 key 预算。 3. 平台预算超限后拒绝新的 platform_key job。 4. 连续失败达到阈值后进入 open 状态。 5. open 状态下拒绝新的 platform_key job。 6. half_open 允许少量测试任务。 ## 验收标准 1. platform_key job 创建前检查平台预算。 2. 平台预算超限后拒绝创建 job。 3. Runtime invocation log 可更新平台预算。 4. 连续失败可触发熔断。 5. 熔断状态可被 Admin 后续查询。 6. 不会无限循环重试烧 token。 7. 提供测试。

wangdl added this to the M-API-AI-RUNTIME：API AI Runtime 调度与落库 milestone 2026-06-10 21:03:51 +08:00

wangdl added the

labels 2026-06-10 21:03:51 +08:00

Sign in to join this conversation.