急于实施AI时被忽视的八个安全风险

在追求GenAI带来的急于生产力提升的过程中，大多数企业都忽视了这样做可能带来的实施时被安全影响，转而倾向于寄希望于具有变革性的忽视创新，而非采用可靠的安全安全实践 。

根据世界经济论坛与埃森哲合作进行的风险一项研究，63%的急于企业在部署AI工具之前未能评估其安全性，从而给企业带来了一系列风险。实施时被

这既包括现成的忽视AI解决方案 ，也包括与软件开发团队合作创建的免费模板安全内部实现
。根据Tricentis的风险2025年质量转型报告，这些团队绝大多数(45%)专注于提高交付速度，急于而非增强软件质量(13%) ，实施时被尽管有三分之一(32%)的忽视受访者承认 ，质量低劣的安全软件很可能导致更频繁的安全漏洞或合规失败。

而且 ，风险这些漏洞和失败确实越来越频繁。思科最新发布的《网络安全准备指数》于5月7日公布，该指数显示，86%的香港云服务器企业在过去一年中经历过与AI相关的安全事件，不到一半(45%)的企业认为其内部资源和专业知识足以进行全面的AI安全评估 。

最常见的被忽视的AI安全风险

专家们表示 ，未能充分测试AI系统就进行部署，会使企业面临一系列与传统软件风险显著不同的漏洞。以下是一些最常见的风险 ：

AI系统经常处理大量敏感信息  ，如果没有进行严格的测试 ，源码库企业可能会忽视这些数据泄露的容易程度，无论是通过不安全的存储、过于慷慨的API响应 ，还是糟糕的访问控制。

“许多AI系统在推理过程中会摄入用户数据
 ，或为保持会话持久性而存储上下文，”AI安全测试供应商Mindgard的CEO兼联合创始人Peter Garraghan博士说，“如果数据处理未经过审计，就有很高的高防服务器数据泄露风险，这些风险可能通过模型输出、日志泄露或微调数据集的滥用而发生 ，这些风险会因大型语言模型(LLM)的内存功能或流式输出模式而加剧。”

这些漏洞包括提示注入 、越狱和对抗性提示链
。如果没有严格的测试，模型可能会被操纵以绕过输出约束  、泄露敏感数据或执行非预期任务 。

“这些攻击往往利用模型对齐机制的缺陷或其对标记级推理的依赖。”英国兰卡斯特大学的云计算讲师Garraghan解释道。

如果没有对对抗性操纵或中毒训练数据进行测试 ，攻击者很容易影响AI模型的行为  ，尤其是当该模型被用于支持业务决策或自动化敏感任务时。

全球网络安全咨询公司CyXcel的首席运营官Jano Bermudes说：“攻击者可以操纵输入数据来欺骗AI模型，导致其做出错误决策，这包括逃避攻击和数据中毒 。”

AI模型经常作为更大应用程序管道的一部分进行部署，例如通过API、插件或检索增强生成(RAG)架构。

“在这方面测试不足可能导致模型输入和输出的不安全处理、亿华云通过序列化数据格式的注入路径以及托管环境中的权限提升，”Mindgard的Garraghan说
，“这些集成点在常规应用程序安全(AppSec)工作流程中经常被忽视 。”

AI工具经常接入更广泛的系统，如果配置不当，可能会给用户或攻击者超出预期的访问权限 ，这可能包括暴露的API密钥、糟糕的身份验证或日志记录不足 ，使得滥用行为难以被发现。

AI系统在部署期间可能仅在特定输入条件下表现出紧急行为 ，尤其是在与其他服务交互时。

“逻辑损坏 、上下文溢出或输出反射等漏洞通常仅在运行时出现，需要通过操作红队测试或实时流量模拟来检测。”Garraghan说 。

未能确保AI工具符合监管标准可能导致法律后果 。

例如 ，由于AI工具未经授权的数据处理或未测试的模型行为导致的中断
，可能引发监管违规
。

更广泛的运营影响

“这些技术漏洞如果不经过测试 ，并不会孤立存在，”Mindgard的Garraghan说 ，“它们表现为更广泛的企业风险，超越了工程领域 。从运营影响的角度来看，AI安全测试不足的后果直接映射到安全 、安全和业务保障的失败。”

合规专家ISMS.online的首席产品官Sam Peters看到了企业因忽视适当的AI安全审查而导致的广泛运营影响 。

“当AI系统匆忙投入生产时 ，我们在三个关键领域反复看到漏洞：模型完整性(包括中毒和逃避攻击)、数据隐私(如训练数据泄露或敏感数据处理不当)和治理差距(从缺乏透明度到访问控制不佳)
。”他说。

Peters补充道  ：“这些问题并非假设;它们已经在现实中被利用。”

针对交付进行测试

急于实施AI给CISO带来了压力 ，但应用安全测试公司Sparrow的首席运营官James Lei建议CISO应抵制盲目引入的热情，将基本安全实践纳入部署过程 。

“为降低这些风险 ，企业应像测试任何高风险软件一样测试AI工具，运行模拟攻击、检查滥用场景、验证输入输出流程，并确保任何处理的数据都得到适当保护。”他说。

为降低这些风险，企业应实施全面的测试策略，例如
：

• 渗透测试：模拟攻击以识别漏洞

• 偏见和公平性审计 ：确保AI决策公平且无歧视

• 合规性检查：验证是否符合相关法规和标准

通过将安全测试纳入AI开发生命周期 ，企业可以在利用AI优势的同时防范潜在威胁。

“在部署AI工具之前，企业应针对AI系统进行威胁建模 、对抗性输入的红队测试以及模型漂移和数据泄露的严格测试 ，”ISMS.online的Peters说 ，“同时，他们应将AI特定控制纳入其风险管理和合规计划。”

Peters补充道 ：“这就是新的ISO/IEC 42001标准真正发挥作用的地方，它提供了一个负责任地治理AI的框架，包括风险评估、数据处理、安全控制和持续监控的指导。”

其他专家在肯定安全测试必要性的同时 ，认为在测试AI系统安全性时需要采用不同的方法 。

“与常规软件测试不同 ，你不能仅仅通过查看神经网络的代码来判断其是否安全，”众包安全提供商Intigriti的首席黑客官Inti De Ceukelaire告诉记者  ，“即使它是在干净、高质量的数据上训练的，仍然可能表现出奇怪的行为，这使得很难知道何时测试已经足够 。”

AI工具通常为简单问题提供复杂解决方案，测试人员可能只关注工具应做的事情 
，而忽略其他可能做的事情。“例如
，翻译工具可能被诱骗打开包含恶意代码的PDF文件或访问内部文件并为其翻译以供公司外部人员查看 。”De Ceukelaire解释道。

企业应考虑实施专门为AI设计的对抗性测试框架 。

“这包括静态模型分析、动态提示模糊测试、集成层攻击模拟和运行时行为监控 ，”Mindgard的Garraghan说，“这些实践应嵌入AI部署生命周期中 ，就像DevSecOps实践被集成到软件CI/CD管道中一样 。”

最新评论