nexusflow
在线
功能

供应商路由

同一模型的多供应商智能路由与自动容错

nexusflow 为同一模型配置了多个供应商端点。系统会根据各端点的实时表现智能选择最优端点，并在供应商不可用时自动切换，整个过程对调用方完全透明。

智能路由

当你发起 API 请求时，系统会根据模型 ID 和请求协议筛选出所有匹配的供应商端点，并综合端点的稳定性、延迟等因素选择最优端点。当某个端点出现异常时，系统会自动降低其优先级；恢复后自动回到正常位置，无需人工干预。

┌──────────────┐     ┌─────────────────┐     ┌──────────────────┐
│  Client      │────▶│  nexusflow      │────▶│  供应商 A (主)    │
│  POST /v1/   │     │  智能路由        │     │  DashScope       │
│  chat/compl  │     │                 │     └──────────────────┘
└──────────────┘     │  健康检测        │     ┌──────────────────┐
                     │  延迟监控        │────▶│  供应商 B (备)    │
                     │  自动切换        │     │  (可扩展)        │
                     └─────────────────┘     └──────────────────┘
健康检测
定时检测上游端点状态，连续失败自动标记为 degraded / down。
加权选择
综合端点优先级和权重进行负载均衡，健康端点优先使用。
透明恢复
故障端点恢复后自动回到正常优先级，无需人工干预。

自动容错

当选中的端点返回服务端错误（5xx）或限流（429）时，系统会自动重试下一个可用端点，直到请求成功或所有端点都已尝试。400 类客户端错误不会触发重试。

端点状态条件行为
healthy连续成功正常使用，最高优先级
degraded连续失败 >= 3 次降低优先级，仍可被选择
down连续失败 >= 5 次跳过该端点，不再尝试

注意事项

流式请求
如果端点在开始返回数据之前就失败了，系统可以无感地切换到下一个端点。但一旦数据已经开始发送给客户端，就无法再切换端点，错误会直接透传给客户端。

建议在客户端实现流式请求的错误处理逻辑，以应对流中断的情况。
协议不一致
容错能力取决于该模型在当前请求协议下有多少个可用端点，而非供应商总数。例如一个模型有两个供应商，但只有一个支持 Anthropic 协议，那么通过 Anthropic 协议请求时将无法容错。

如果需要容错保障，建议使用模型支持最广泛的协议（通常是 OpenAI 协议），或结合模型降级配置备选模型。

相关文档