蚂蚁集团大模型安全解决方案“蚁天鉴”升级,新增智能体安全评测工具
随着人工智能(AI)技术的不断进步,AI领域正从大模型时代迈向智能体时代。智能体不仅具备对话生成能力,还拥有自主规划、跨领域推理,甚至能做出超越人类理解的决策,AI已进入“行动”阶段。然而,智能体的越权、过度代理等问题也带来了安全挑战。
世界数字科学院(WDTA)最新发布《AI智能体运行安全测试标准》提出将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应起来,分析智能体全链路风险。
“蚁天鉴”为蚂蚁集团联合清华大学共同研发推出的大模型安全一体化解决方案,确保大模型技术在安全可靠的环境中发挥效能,打造AI大模型的安全铠甲。“蚁天鉴”新增的智能体安全评测功能,正与WDTA标准框架契合。
大模型安全解决方案“蚁天鉴”新增智能体安全评测工具
据介绍,升级的“蚁天鉴”在Agent运行阶段,构建了一套智能安全扫描系统,通过一系列专用工具来检测Agent可能面临的安全风险,实现端到端扫描,确保工具与 Agent 的交互链路不被篡改或绕过,为复杂环境下的稳定运行提供可验证的安全基线。目前,“蚁天鉴”的风险研判Agent准确率可以达到96%以上,并可支持11个行业的智能体测试。
此外,其Agent对齐功能,集成了高效工具调用、敏感双重验证、多通道恶意识别及沙盒环境训练,确保智能体的决策、行为与开发者预设目标、价值观及伦理道德保持一致;通过深度理解智能体服务上下文与风险情境,“蚁天鉴”还可对每一次调用进行内容、链路、行为、权限、组件、来源、身份七层校验,并依据策略引擎动态决策放行、降级或阻断,实现“永不信任,始终验证”的零信任动态防御。
据了解,2024世界人工智能大会上,“蚁天鉴”2.0发布,形成了包括大模型基础设施测评、大模型X光测评、应用安全测评、AIGC滥用检测、证件伪造检测、围栏防御等在内的完整技术链条,面向行业提供全方位智能化的大模型安全测评和防御解决方案。
1、居然智家实控人汪林朋在家中不幸身故,居然之家汪林鹏妻子是谁