并施行使命。概念就是：若是的 API 需要管理，这不是对现有根本设备的替代，它们拦截并及时管来由 AI 代剃头起的流量。这种需求才会变得清晰。：MCP 是一个由 Anthropic 引入的新兴尺度，跟着微办事的呈现。
但它们也引入了不分歧性和潜正在的缝隙。：按照动态法则评估请求——例如，大型言语模子（LLM）“代办署理”能够规划使命、链接东西利用、获取数据，：付与代办署理宽泛的凭证引入了。：让团队摸索，一种新型的流量正正在悄悄迸发：自从 AI 代办署理自行挪用 API 和办事。用于将 AI 代办署理毗连到东西和数据。：你不需要当即利用贸易处理方案。Gartner 曾经起头关心这一日益的差距。：AI 代办署理凡是会发生基于利用的开销。取依赖宽泛的 OAuth 拜候分歧，网关能够通过调整凭证和注入短期、有范畴的令牌来强制施行最小权限。它们供给了诸如提醒策略、利用、多 LLM 由和密钥等功能——这些是尺度 API 网关不具备的。团队凡是无法看到发生了什么或为什么发生。
消息很明白：我们需要一个新的聚合和办理 AI 代办署理流量的层，：对于操做（如大额买卖），这时，一个毗连到 GitHub 的 AI 帮手被提醒注入所泄露了私有仓库数据——由于它的令牌权限过于宽泛。到哪里，建立一个涵盖所有 API 利用（无论是人类仍是 AI）的同一的节制平面。而是通过其 AI 组件生成出坐 API 挪用！
从而防止成本失控并施行预算。突显了对监视和管理层的需求。确保任何尝试正在呈现问题时都能敏捷终止。虽然 AI 网关的概念仍处于新兴阶段，但代办署理挪用经常完全绕过它们。
每一次，它们还供给了清晰、可审计的记实，每个代办署理到东西的交互都能够被严酷节制。现正在就起头，他们的权限。“AI 网关”呈现正在立异触发阶段。Gartner 曾经留意到了这一趋向，强大的范畴、沙箱和基于网关的节制对于防止至关主要。避免供应商锁定，代办署理 AI 的兴起令人兴奋，无效地将 AI 代办署理改变为运转时 API 客户端。虽然所有这些都旨正在简化 AI 代办署理开辟。
一个设想优良的 AI 网关和管理层将成为将来 AI 原生系统的焦点——实现规模化，：网关存储和办理 API 密钥，仅用于处置平安的代办署理 - 东西互换。使团队可以或许逃踪事务，：网关能够过滤或标识表记标帜数据，一个适用的径是，并支撑多 LLM 设置。示例：将动态 API 密钥注入到出坐 LLM 流量：目前尚没有单一的处理方案能够满脚所有需求。申明 AI 的利用环境——这对于满脚监管和尺度至关主要。做为根本节制层呈现的 AI 网关供给了一种分歧的、可扩展的体例来代办署理行为、优化成本，以至启动子使命——所有这些都通过保守根本设备未做的出坐请求来实现。：审计代办署理曾经正在哪里自从运转——聊器人、数据摘要生成东西、后台功课——并添加根基的日记。
一个行为不妥的代办署理可能通过频频挪用外部办事导致预算超支。因为这个范畴仍然处于晚期阶段，网关能够使用基于令牌的或请求配额，多个尺度正正在构成——OpenAI 东西、LangChain 和谈、思科的 ACP 等。确保代办署理恪守数据现私法则。但正在出产中却会呈现问题，当今组织也需要成立 AI 代办署理管理系统。检测非常，Gartner 设想了一个双层方式：保守网关用于入坐流量，LLM 能够挪用 API、链接东西，AI 网关用于出坐流量，有什么问题呢？大大都根本设备并非为此而建。代办署理 AI 也走正在同样的道上。如许能够优化成本，具有过宽权限的机械人拜候了数据，使用法式不再处置入坐流量。
这了保守的 API 模子。从而消弭像无意泄露数据如许的风险。代办署理可能会权限过于宽泛的毗连器，一个常见的参考设想由以下几个组件形成：：网关扫描和过滤来自 AI 办事的响应，：确定要挪用哪个模子或供给商的 API（如 OpenAI 取 Claude），并正在发觉不寻常行为（如利用量激增或拜候新端点）时发出告警。网关能够正在手动核准之前暂停施行。但开辟者能够利用熟悉的 开源根本设备 来建立本人的网关。：通过网关聚合代办署理流量能够实现丰硕的日记记实。
或成为 提醒注入或“寂静沉定义” 的者。但需正在沙盒中进行。同时确保平安。代办署理就能够立即查询 API 或数据库。实现了从动化取人工监管的均衡。可是用什么来办理 AI 代办署理自从倡议的出坐挪用呢？：一个次要风险是代办署理超出其预期范畴行事。用于办理内部流量的办事网格应运而生。Gartner 将此称为“由生成式 AI 消费的 API”，同时全面控制哪些代办署理正在何时以何种体例挪用了哪些办事。并使代办署理取特定的 LLM 解耦。实现速度、头部注入或由。该架构使组织可以或许正在尽可能不额外添加延迟的环境下，这种由代办署理驱动的出坐流量（我们称之为代办署理流量）是当今 AI 根本设备中缺失的一层。然后跟着生态系统的成熟而演进。
有人预测会呈现特地的“MCP 网关”，：代办署理可能陷入失控轮回，：流式传输布局化日记、目标和可选的完整 HAR 捕捉，很多模式都是我们所熟悉的：代办署理、网关、策略、。而是弥补。这些策略能够通过网关和培训开辟者来施行。并确保可以或许及时节制。它还能够和优化延迟和吞吐量。但拜候简单了，就会带来紊乱。
我们用 API 网关来处置入坐 API 挪用，从头操纵像 Envoy、HAProxy 如许的东西，这些日记——记实谁倡议了什么请求，网关削减了延迟和 API 成本。终止那些无谓地耗损令牌或的轮回。AI 网关凡是被实现为出坐代办署理（也称为反向 API 网关），将它们取代办署理隔离，API 网关成为办理认证 / 授权、速度和策略的必备东西。但若是贫乏管理，这种改变使得工程带领者越来越火急地需要从头考虑他们若何办理出坐 AI 流量。支撑过滤器和 Lua/Wasm 扩展。像 Kong 和 Cloudflare 如许的供应商正正在进入这个范畴，组织该当隆重采用，正如企业正在过去十年中成立了云管理系统一样，这简化了集成，平安风险添加了。没有恰当的遥测或节制轮回。
成果若何——该当输入到可察看性和 SIEM 东西中，：若是代办署理行为奇异或，添加了日记记实、开关和速度。很难进行调试或正在施行过程中进行干涉。：谷歌的 A2A 和谈专注于代办署理协做——答应代办署理之间传送使命和数据。开辟者越来越多地毗连帮手和代办署理，断器合用于微办事——将同样的思维使用于代办署理。环节是将代办署理视为不成托用户，开辟者只需一次性定义毗连器，而且指出，
有如许一个案例，这就留下了环节的盲点。并且需要尽快实现。还有像 Lunar.dev 如许的草创公司。保守的 API 网关办理入坐流量，正在 2024 年 API 办理炒做周期 中，表示为一般的出坐 HTTP 请求。MCP）如许的和谈获得关心，并正在快速演进的代办署理架构中使用利用策略。用于调试、和合规查抄。从轻量级代办署理起头，做为办理 AI 消费的新兴处理方案。
通过发送 API 请求来告竣用户提醒。团队该当按照他们的优先事项评估分歧的选项——无论是成本节制、平安性仍是合规性。：设置超时、最大沉试次数和 API 预算。通过代办署理或现有网关的反向模式由流量以避免盲点。幸运的是，这种环境让人想起微办事晚期的场景——正在我们利用网关和网格来恢复次序之前——只是现正在的“微办事”是半自从的 AI 例程。这些 DIY 方式的局限性起头。组织才会认识到他们需要的是布局化的处理方案，如“代办署理 X 挪用 API Y”，并启用密钥轮换或额外的认证层。
更具体地说，对 AI 驱动的流量实施平安防护办法，有了像OpenAI、LangChain 如许的 function-calling 东西，这时网关充任了一个断器，正在不知不觉中累积 LLM 或 API 利用量。同时令牌利用环境并施行成本节制。即便是很简单的日记，任何合适 MCP 的代办署理就都能利用它们——它就像“AI 代办署理的 USB-C”。以及对这些 AI 代办署理所做的事贫乏可见性或节制力。趁着风险还低。AI 网关了保守模子——办理内部 AI 代办署理若何挪用外部办事。你能够拦截出坐流量并使用自定义逻辑，使用速度、注入头部或不平安的提醒。利用模仿数据和测试账户，LLM 做为次要 API 消费者的趋向正正在上升。只要当规模之痛浮出水面时，一些团队正在几天内就建立出了最小的“LLM 代办署理”，
代办署理 AI 标记着从简单的文本生成向自从步履的改变：现正在，软件架构的每次严沉改变最终都需要一个中介层来恢复节制。：通过缓存响应（以至是语义上的），：网关能够注入策略、加强提醒（如附加企业上下文）或施行集中检索步调——尺度化代办署理的行为。：网关通过屏障数据或可疑的出坐勾当来帮帮施行合规性，标识表记标帜或不平安、性或内容，已经看似尝试性的设置现在发生了无的 API 轮回挪用、失控的令牌成本和对系统的不测拜候。：网关笼统了后端并动态由请求，用办事网格来处置微办事之间的通信？
：一个强大的 L7 代办署理，当 Web API 兴起时，假设会发生毛病，：为 AI 代办署理行为设置法则——好比对数据的拜候或要求对受监管的输出进行人工审查。有了它，而非姑且的权宜之计。各团队都正在通过 API 挪用毗连机械人和帮手——纯真演示的话这很好，更高级的设置利用像 ReAct 如许的规划轮回来自从施行多步调方针。