Portkey AI

Portkey AI 是什么

Portkey AI 是一个用来构建和运行生成式 AI 应用的平台。它提供跨众多模型的统一 AI 网关，以及可观测性、提示词管理和 MCP 客户端，并具备负载均衡、条件路由、自动重试与语义缓存。

它提供实时监控与日志追踪，并支持开源架构与本地部署。

你可以用它做什么

• 通过一个网关调用多个模型
• 加上路由、缓存与重试行为
• 跟踪成本、延迟与错误
• 为控制数据而自托管

适合谁使用

• 构建生成式 AI 产品的团队
• 要统一多家模型供应商的组织
• 有安全与合规需求的企业

需要留意什么

• 提示词与回复都会经过网关，日志设置决定了存下什么
• 官网上的模型数量是厂商说法；要确认自己需要的服务商是否支持
• 阈值放得太松时，语义缓存可能返回过期或错误的答案
• 自托管会增加运维工作