模型代理

模型代理用于给模型增加额外的请求线路和上游出口, 方便做分流、切换和故障兜底

适用角色

• 管理员: 仅管理员可进入, 负责维护平台统一使用的代理线路

功能说明

• 提供商: 模型代理归属于某个提供商, 请求时会按对应平台格式发起调用

• 代理名称: 可自定义代理名称, 便于区分不同线路、机房或供应来源

• 代理地址与代理路径: 决定模型通过这条线路请求时实际访问的地址和路径

• 权重: 在权重分流模式下, 可按比例分配流量到不同代理

• 绑定模型: 只有绑定后的模型才会走当前代理, 也支持快速带入相关模型, 减少重复选择

• 密钥负载策略: 支持轮询和权重, 便于在同一代理下继续分摊多把密钥

• 密钥管理: 可为代理配置专属密钥, 让这条线路独立使用自己的上游凭证

• 代理专用: 用于控制这把密钥是否只给当前代理使用

• 代理计费方式: 支持按 Tokens 和按次两种计费方式, 也可按应用密钥或模型当前的计费方式动态选择

• 测试能力: 可直接测试模型代理是否可用, 也支持批量快速测试多条线路

使用场景

• 同一模型需要接入多个上游节点时统一管理出口

• 上游线路不稳定时用多条代理做切换和分流, 降低单线路故障影响

• 根据不同代理线路的计费方式或可用性, 灵活选择更合适的请求出口

• 将部分请求单独走专用线路、专用机房或专用账号, 满足重点客户或特殊业务场景