模型网关实战多模型路由、降级和成本对账的统一入口结论先放这儿问题网关给什么三五个应用各自直连各家 API一个统一入口配置改一处主模型挂了整条业务跟着挂降级链自动回退备用模型每月账单不知道花在哪usage 聚合按应用和模型分账换模型要改遍所有代码路由层换配置业务代码不动选型实战讲过怎么挑模型扛量实战讲过限流和熔断。这篇补中间的工程件。模型多了之后谁来统一管它们一、网关解决什么问题没有网关的状态通常长这样。三个应用各自写着不同厂商的 SDK密钥散落在各处配置里某家 API 抽风时三个应用一起挂月底对账单只有总额没有明细。到处都痛。网关就是加在业务和各家 API 之间的一层。业务代码只对网关说话。网关负责四件事路由、降级、缓存、记账。LiteLLM 这类开源网关或自建一个薄层都能干这四件事核心逻辑百来行。二、路由按任务挑模型路由策略按维度排。代码任务走强模型长文任务走长上下文模型闲聊走便宜小模型。批量任务看成本在线请求看延迟超长的 Prompt 直接路由到支持长窗口的模型。路由函数就是一个映射表ROUTE { code: claude-sonnet, long: gemini-flash, chat: gpt-4o-mini, } def route(task_type, prompt): model ROUTE.get(task_type, gpt-4o-mini) if len(prompt) 50000: # 超长走长上下文模型 model gemini-flash return model路由表是配置不是代码改模型只改表。业务代码里只出现任务类型不出现模型名。三、降级链主模型挂了不跟挂每类任务配一条降级链主模型失败自动回退。扛量篇的熔断器思路直接复用连续失败就摘掉主模型一段时间。挂一个跳一个用下一个from collections import deque class Breaker: def __init__(self, threshold3, cool60): self.fails, self.threshold, self.cool 0, threshold, cool self.opened_at 0 def allow(self): if self.fails self.threshold: return True return time.time() - self.opened_at self.cool def record(self, ok): if ok: self.fails 0 else: self.fails 1 if self.fails self.threshold: self.opened_at time.time() FALLBACK [claude-sonnet, gpt-4o, gemini-flash] def call(prompt, task_typecode): for model in FALLBACK: b breakers[model] if not b.allow(): continue try: resp llm_call(model, prompt) b.record(True) return resp except Exception: b.record(False) raise RuntimeError(全部模型不可用)降级链的顺序就是成本顺序最划算的排前面。回退不是静默的日志里记一笔降级事件降级率涨了说明主模型不稳。四、成本对账usage 聚合每次调用把 usage 记下来按应用和模型分账import json, time def record_usage(app, model, usage): entry { ts: int(time.time()), app: app, model: model, in: usage.prompt_tokens, out: usage.completion_tokens, } with open(usage.jsonl, a, encodingutf-8) as f: f.write(json.dumps(entry, ensure_asciiFalse) \n)月底按 jsonl 聚合哪个应用烧钱、哪个模型性价比低一目了然。账目清楚了才好做选型决策。Tokenizer 篇说过 token 是计费单位对账就以 usage 字段为准聚合脚本只做分账不做估算。写在最后网关的四件事路由让换模型变成改配置降级让单点故障不传染缓存和记账让账单可查。核心逻辑百来行。开源网关能白嫖就先用开源的。自己写也只是一个薄层。模型多了之后再上网关一上就别让业务代码直连厂商 API。本文的方法与代码按自己的项目实践整理网关选型可参考 LiteLLM 等开源实现的配置模型。