急于实施AI时被忽视的八个安全风险
我要评论
在追求GenAI带来的急于生产力提升的过程中，大多数企业都忽视了这样做可能带来的实施时被安全影响 ，转而倾向于寄希望于具有变革性的忽视创新，而非采用可靠的安全安全实践 。
根据世界经济论坛与埃森哲合作进行的风险一项研究 ，63%的急于企业在部署AI工具之前未能评估其安全性，从而给企业带来了一系列风险 。实施时被
这既包括现成的忽视AI解决方案 ，也包括与软件开发团队合作创建的建站模板安全内部实现 。根据Tricentis的风险2025年质量转型报告，这些团队绝大多数(45%)专注于提高交付速度 ，急于而非增强软件质量(13%)，实施时被尽管有三分之一(32%)的忽视受访者承认 ，质量低劣的安全软件很可能导致更频繁的安全漏洞或合规失败 。
而且 ，风险这些漏洞和失败确实越来越频繁 。思科最新发布的《网络安全准备指数》于5月7日公布 ，该指数显示 ，86%的服务器租用企业在过去一年中经历过与AI相关的安全事件 ，不到一半(45%)的企业认为其内部资源和专业知识足以进行全面的AI安全评估 。
最常见的被忽视的AI安全风险
专家们表示 ，未能充分测试AI系统就进行部署 ，会使企业面临一系列与传统软件风险显著不同的漏洞 。以下是一些最常见的风险：
数据泄露AI系统经常处理大量敏感信息 ，如果没有进行严格的测试，云计算企业可能会忽视这些数据泄露的容易程度 ，无论是通过不安全的存储 、过于慷慨的API响应 ，还是糟糕的访问控制 。
“许多AI系统在推理过程中会摄入用户数据 ，或为保持会话持久性而存储上下文 ，”AI安全测试供应商Mindgard的CEO兼联合创始人Peter Garraghan博士说 ，“如果数据处理未经过审计 ，就有很高的免费模板数据泄露风险 ，这些风险可能通过模型输出、日志泄露或微调数据集的滥用而发生，这些风险会因大型语言模型(LLM)的内存功能或流式输出模式而加剧 。”
模型级漏洞这些漏洞包括提示注入 、越狱和对抗性提示链 。如果没有严格的测试 ，模型可能会被操纵以绕过输出约束 、泄露敏感数据或执行非预期任务 。
“这些攻击往往利用模型对齐机制的缺陷或其对标记级推理的依赖 。”英国兰卡斯特大学的源码库讲师Garraghan解释道 。
模型完整性和对抗性攻击如果没有对对抗性操纵或中毒训练数据进行测试 ，攻击者很容易影响AI模型的行为 ，尤其是当该模型被用于支持业务决策或自动化敏感任务时。
全球网络安全咨询公司CyXcel的首席运营官Jano Bermudes说 ：“攻击者可以操纵输入数据来欺骗AI模型 ，导致其做出错误决策 ，这包括逃避攻击和数据中毒 。”
系统性集成风险AI模型经常作为更大应用程序管道的一部分进行部署 ，例如通过API 、插件或检索增强生成(RAG)架构 。
“在这方面测试不足可能导致模型输入和输出的不安全处理 、亿华云通过序列化数据格式的注入路径以及托管环境中的权限提升，”Mindgard的Garraghan说，“这些集成点在常规应用程序安全(AppSec)工作流程中经常被忽视 。”
访问控制失败AI工具经常接入更广泛的系统 ，如果配置不当，可能会给用户或攻击者超出预期的访问权限 ，这可能包括暴露的API密钥、糟糕的身份验证或日志记录不足 ，使得滥用行为难以被发现 。
运行时安全失败AI系统在部署期间可能仅在特定输入条件下表现出紧急行为，尤其是在与其他服务交互时 。
“逻辑损坏、上下文溢出或输出反射等漏洞通常仅在运行时出现，需要通过操作红队测试或实时流量模拟来检测 。”Garraghan说 。
合规违规未能确保AI工具符合监管标准可能导致法律后果 。
例如，由于AI工具未经授权的数据处理或未测试的模型行为导致的中断 ，可能引发监管违规。
更广泛的运营影响
“这些技术漏洞如果不经过测试，并不会孤立存在 ，”Mindgard的Garraghan说 ，“它们表现为更广泛的企业风险，超越了工程领域 。从运营影响的角度来看 ，AI安全测试不足的后果直接映射到安全 、安全和业务保障的失败。”
合规专家ISMS.online的首席产品官Sam Peters看到了企业因忽视适当的AI安全审查而导致的广泛运营影响 。
“当AI系统匆忙投入生产时，我们在三个关键领域反复看到漏洞 ：模型完整性(包括中毒和逃避攻击) 、数据隐私(如训练数据泄露或敏感数据处理不当)和治理差距(从缺乏透明度到访问控制不佳) 。”他说 。
Peters补充道：“这些问题并非假设;它们已经在现实中被利用 。”
针对交付进行测试
急于实施AI给CISO带来了压力，但应用安全测试公司Sparrow的首席运营官James Lei建议CISO应抵制盲目引入的热情 ，将基本安全实践纳入部署过程。
“为降低这些风险 ，企业应像测试任何高风险软件一样测试AI工具，运行模拟攻击 、检查滥用场景 、验证输入输出流程 ，并确保任何处理的数据都得到适当保护 。”他说。
为降低这些风险 ，企业应实施全面的测试策略 ，例如：
• 渗透测试：模拟攻击以识别漏洞
• 偏见和公平性审计 ：确保AI决策公平且无歧视
• 合规性检查：验证是否符合相关法规和标准
通过将安全测试纳入AI开发生命周期 ，企业可以在利用AI优势的同时防范潜在威胁 。
“在部署AI工具之前 ，企业应针对AI系统进行威胁建模 、对抗性输入的红队测试以及模型漂移和数据泄露的严格测试 ，”ISMS.online的Peters说 ，“同时 ，他们应将AI特定控制纳入其风险管理和合规计划 。”
Peters补充道 ：“这就是新的ISO/IEC 42001标准真正发挥作用的地方 ，它提供了一个负责任地治理AI的框架 ，包括风险评估 、数据处理 、安全控制和持续监控的指导 。”
其他专家在肯定安全测试必要性的同时 ，认为在测试AI系统安全性时需要采用不同的方法。
“与常规软件测试不同 ，你不能仅仅通过查看神经网络的代码来判断其是否安全 ，”众包安全提供商Intigriti的首席黑客官Inti De Ceukelaire告诉记者 ，“即使它是在干净、高质量的数据上训练的 ，仍然可能表现出奇怪的行为，这使得很难知道何时测试已经足够 。”
AI工具通常为简单问题提供复杂解决方案 ，测试人员可能只关注工具应做的事情 ，而忽略其他可能做的事情。“例如，翻译工具可能被诱骗打开包含恶意代码的PDF文件或访问内部文件并为其翻译以供公司外部人员查看 。”De Ceukelaire解释道 。
企业应考虑实施专门为AI设计的对抗性测试框架。
“这包括静态模型分析、动态提示模糊测试 、集成层攻击模拟和运行时行为监控 ，”Mindgard的Garraghan说，“这些实践应嵌入AI部署生命周期中，就像DevSecOps实践被集成到软件CI/CD管道中一样 。”
相关文章
F5发布全新AI驱动的应用和API安全功能全方位护航数字化服务
F5日前发布全新的应用安全功能，为企业提供全方位的安全防护和控制，赋能企业高效管理跨本地、云和边缘的应用和API。值得一提的是，此次全面升级的机器学习技术更是为F5的云安全组合带来了先进的API端点2025-12-07
ESG公司的首席分析师兼研究员、网络安全专家Jon Oltsik在其发表的文章中介绍了成熟的网络威胁情报计划具备的一些特征。根据ESG公司的研究，成熟的网络威胁情报计划的首要属性2025-12-07
据软件测试公司Veracode最新的报告，超过四分之三使用 Java 和 .NET 编写的应用程序至少存在一个以上的 OWASP Top 10 漏洞。OWASP Top 10 是根据开放 Web 应用2025-12-07
最近ENISA发布了《ENISA 威胁全景图 》，该全景图已经是第十版了，让我们简单看看该全景图的概述以及23年值得关注的十大网络安全趋势。威胁形势概述在最新版的 ENISA 威胁形势 ETL ）报告2025-12-07
根据安全服务商HP Wolf Security公司日前的调查，随着企业员工的工作如今变得越来越分散，IT领导者表示，防御固件攻击比以往任何时候都更加困难。破坏性固件攻击的威胁越来越大向混合工作模式的2025-12-07
1998年，Christine Peterson创造了 “开源软件”这个词。她解释道：“这是刻意为之，为了让其他人更容易理解这个领域”。同年，O’Reilly组织了首届“开源峰会”。开源软件受到更多人2025-12-07
最新评论