随着越来越多的企业开始将AI应用于客户服务、运营管理等核心业务场景，企业AI安全风险也呈现出更加复杂、多元的发展趋势。除传统的大模型越狱、敏感信息泄露等风险外，工具滥用、智能体越权执行、多智能体协同攻击等新型风险不断出现。
8月20日，国际数据公司IDC发布《IDC MarketScape: 中国生成式AI安全评估平台2026年厂商评估》报告，聚焦中国生成式AI安全评估平台市场，对主流厂商进行全面评估，其中蚂蚁数科凭借其在生成式AI安全评估领域的技术能力、产品成熟度以及在金融、医疗、制造业的深度积累与规模化落地成果，成功入选领导者类别。随着越来越多的企业开始将AI应用于客户服务、运营管理等核心业务场景，企业AI安全风险也呈现出更加复杂、多元的发展趋势。除传统的大模型越狱、敏感信息泄露等风险外，工具滥用、智能体越权执行、多智能体协同攻击等新型风险不断出现。
据了解，针对生成式AI产生的新型安全风险，蚂蚁数科蚁天鉴依托蚂蚁在生成式AI安全领域的深度积累与实践，构建了覆盖大模型与智能体全链路的安全可信防御体系，为行业提供全方位、智能化的大模型安全测评与防护解决方案。
在大模型安全层面，蚁天鉴大模型安全平台构建了“评测－防御－运营”闭环，覆盖大模型训练、推理、部署全生命周期，可应对各类大模型投毒、提示词攻击等复杂攻击场景，同时对敏感数据的实时监测与精准拦截，降低数据泄露与合规风险。值得一提的是，蚁天鉴还能够针对模型安全问题进行自动修复，引导大模型进行安全推理，全面护航大模型安全。
在智能体安全层面，“蚁天鉴龙虾卫士” 依托轻量化插件技术架构，构建了面向智能体运行环境的全链路安全监测与防护体系，能精准识别异常调用行为、越权访问请求及潜在的恶意指令注入风险，可无缝适配多类型智能体运行框架，为企业级智能体应用的安全稳定运行提供可靠支撑。
截至目前，蚂蚁数科已经服务100%国有股份制银行、超60%地方性商业银行等超百家金融机构，其AI安全能力经历金融级场景的实践验证。
IDC 认为，未来，企业关注的不再只是模型是否能够抵御越狱攻击，而是更加关注整个 AI 应用系统在实际业务场景中的安全表现。与此同时，评估能力也将逐步融入企业 AI 开发、部署、运营及治理全过程，实现由”一次性安全测试”向”持续安全验证”转型。
mingzhiLatest posts by mingzhi (see all)
