规模化应用生成式 AI 前，需先绘制 LLM 使用与风险图谱

在本次Help Net Security访谈中，规模The 用生Motley Fool应用与云安全总监Paolo del Mundo探讨了企业如何通过建立防护机制来扩展AI应用规模，同时降低提示注入、成式不安全输出和数据泄露等生成式AI特有风险。前需

生成式AI以传统威胁模型常忽视的方式扩大了攻击面 。新入行的使用安全从业者应首先了解这类新型漏洞及其防御方法。OWASP大语言模型（LLM）十大风险清单是风险理想起点，其中列举了提示注入 、图谱数据泄露和不安全插件设计等常见漏洞。规模

这些AI安全问题已引起应用安全负责人的用生高度警觉
。ArmorCode最新调查显示：在使用AI工具遭遇问题的成式受访者中 ，服务器租用92%提及不安全代码问题，前需83%将缺乏透明度列为首要担忧。先绘同时55%的使用受访者认为生成式AI相关威胁是其最关注的问题 。

企业要确保负责任地使用生成式AI ，风险首先应清点LLM使用情况：调用托管模型  、微调自有模型还是运行RAG（检索增强生成）流程
？用户群体是内部还是外部？是否涉及敏感数据暴露 ？是否部署细粒度授权机制 ？

对待LLM应用应如任何新服务：记录输入输出 、访问控制及故障模式 。投资能帮助绘制可视化数据流的亿华云工具，这些工作应先于部署复杂防御措施。

如同传统Web应用使用WAF识别恶意流量 ，生成式AI应用也需类似防护机制。这些安全护栏会对输入输出进行双重检查 ：

这些实时执行的策略边界构成最后防线 。模板下载虽不能替代访问控制 ，但能大幅降低漏洞利用可能性。

微调（Fine-tuning）是通过专业数据集继续训练预训练模型的过程 ，可能暴露代码 、内部文档乃至敏感客户数据等知识产权 。若无防护措施 ，攻击者可通过特定话术提取这些信息。

前述调查中37%的受访者认为 ，软件开发缺乏生成式AI监管是最大应用安全挑战。因此以下安全要素尤为重要：

安全团队应将LLM视为高价值资产进行保护。

生成式AI投入生产环境时，红队测试应纳入软件开发生命周期（SDLC）。Lakera Red和Straiker Ascend AI等平台能自动化发现LLM应用的漏洞，模拟提示注入 、越狱攻击和代理逃逸等攻击场景，堪称持续运行的专属渗透测试工具。

关键是要将这些工具集成至发布流程，源码下载而非作为一次性检查 。ArmorCode等应用安全态势管理（ASPM）平台还能整合渗透测试结果
，通过AI辅助研判修复优先级。

Lakera的Gandalf等教育类工具虽非正式测试平台 ，但能让开发团队亲身体验LLM如何被轻易操纵——安全意识教育始终是防御体系的重要组成部分 。

所有影响模型行为的要素（如提示词 、系统消息
、检索逻辑）都应视同代码管理：进行版本控制 、代码审查，并纳入标准变更管理流程。

自动化测试需覆盖功能与行为验证。建站模板若更新导致模型产生敏感信息幻觉或违反策略，应在预发布环境而非生产环境捕获问题
 。

扫描微调输入中的PII或风险内容，验证模型制品后再部署，严格限制生产环境推理设置和提示模板的修改权限。变更聊天机器人行为应比部署后端服务更具管控难度——LLM应遵循同等安全标准。

最新评论