OTRouterClaude、GPT 一个 Key 调用看价格 →
模型发布媒体报道 · techcrunch.com

微软推出Guardian Agents等安全功能,称前沿模型不可信任、AI代理如同“内部威胁”

OmniTools 10月20日消息,微软宣布推出多项新安全功能,用于防范企业使用AI代理带来的风险。其中最受关注的是 Guardian Agents,这一功能用于监控企业内使用的AI代理,属于微软今年6月推出的 Project Perception 产品。Project Perception 最初包含三类代理:扮演黑客发起攻击的“红队”、负责检测并评估漏洞的“蓝队”,以及负责修复的“绿队”,其设计前提是假设AI攻击者来自企业外部。

微软CEO萨提亚·纳德拉此前在私人博客中警告,企业不应信任模型供应商对智能体产品安全性的保证,需要由不受AI实验室控制的独立系统来监视和控制这些代理。他表示,不能把智能行为的责任外包出去,需要将“智能的供给”与“对智能的授权”分开。微软安全业务负责人 Hayete Gallot 在发布 Guardian Agents 时表示,前沿模型无论来自哪里都不可信任,原因并非其恶意或易被攻击,而是其行为不可预测——它们被训练用于完成任务,而非遵循组织规范或判断,同时往往拥有对数据和工具的广泛访问权限。

除 Guardian Agents 外,微软还在 Microsoft Defender 中加入代理检测功能,可识别员工带入工作场所的多达60种代理,包括 Claude Code、Codex 和 OpenClaw;并新增限制代理访问数据和系统、根据任务动态调整代理权限、在代理做出高风险决策时要求人工批准等功能。微软同时是英伟达新推出的 Open Agent Safety Platform 的首批成员,该平台已获得100多家科技公司支持,可在安全环境中隔离代理,并通过硬件监控和阻止其行为,作用类似“终止开关”。

返回快讯