同一个模型，“直连 API / 云托管 / 自托管”会给你完全不同的工程与合规现实。
三种形态的核心差异
- 直连厂商 API
- 优点：功能更新快、能力最完整、接入简单
- 风险：合同与合规谈判成本、区域/驻留选择受限、配额波动
- 云平台托管（Bedrock/Azure/Vertex 等）
- 优点：企业常用的 IAM、审计、网络隔离、采购流程
- 风险：模型版本/功能可能滞后，价格与配额策略不同
- 自托管（open-weight / 私有化推理）
- 优点：数据与驻留最可控、成本结构更可预测、可做深度定制
- 风险：推理工程复杂（性能/稳定性/监控/升级/安全）
决策树（建议）
- 有强驻留/敏感数据/监管要求 → 优先考虑云托管或自托管
- 需求高度依赖最新能力（工具/多模态/超长上下文） → 优先直连
- 成本与吞吐是决定性因素 → 自托管或批量推理形态优先
- 团队 MLOps/推理工程能力不足 → 不要贸然自托管
自托管落地要点（不踩坑版）
- 推理框架选型（vLLM/TGI 等）与并行策略（TP/PP）
- 量化策略（对质量的影响需要用你们任务集验证）
- 缓存、批量、流式输出的工程细节
- 观测：tokens、延迟、显存、队列、失败类型
- 安全：隔离、鉴权、审计、越权工具调用防护
托管渠道的“必问问题”
- 这个渠道是否支持你需要的模型版本与能力（工具/多模态/结构化输出）？
- 限流与配额的口径是什么？能否按项目隔离？
- 区域与数据驻留怎么保证？端点与数据存储是否一致？