AI抢不走的工作，微软力挺红队测试仍需人类“掌舵”
我要评论随着AI的掌舵快速发展，安全专家担心人工智能会取代他们的工作工作 ，但微软的微软研究人员坚持认为 ，有效的力挺红队测试仍然依赖于人类的专业知识、文化意识和情商——这些品质是红队机器无法复制的。
微软的测试AI红队严格测试了100多款生成式AI产品 ，并确定人类的仍需人类创造力在发现漏洞 ，亿华云以及预测黑客如何利用这些系统方面仍然至关重要。掌舵
根据雷德蒙德AI红队发布的工作白皮书 ，其开源的微软PyRIT（Python风险识别工具包）等工具可以简化模拟黑客攻击，但最终 ，力挺在处理复杂风险方面 ，红队人类的测试参与仍然不可替代 。
在网络安全医学、仍需人类化学或生物风险等专业领域 ，掌舵微软坚持认为，人类驱动的专业知识是必不可少的免费模板 ，才能正确、精确地评估人工智能的响应 ，这远远超出了语言模型的能力 。
在网络安全医学 、化学或生物风险等专业领域 ，微软坚持认为 ，想要精确评估AI的响应 ，人类专家的专业知识必不可少 ，而这远远超出了语言模型的能力范围 。源码下载
微软表示 ：“在多次操作中 ，我们依赖‘人类’来评估我们自己或使用大型语言模型（LLMs）无法评估的内容风险” ，并强调“AI红队意识到这些局限性非常重要”。
公司研究团队还强调了所谓的“文化能力” ，即红队必须考虑语言和文化差异 ，以识别可能被主要基于英语数据集训练的AI模型忽视的安全风险 。
同时研究团队指出 ：“AI红队中的人类元素在回答需要情商的AI安全问题时最为明显 。”例如“这个模型响应在不同情境下会如何被解读 ？”以及“这些输出是否让我感到不适 ？”等问题只有人类操作员才能解析 。建站模板
微软补充表示：“最终 ，只有人类操作员才能评估用户在实际环境中与AI系统进行的全部互动 。”
该论文还包括一个案例研究 ，在这个案例中 ，微软红队评估了聊天机器人对陷入困境用户的回应 ，以此来调查“心理社会危害” 。并警告说，红队成员可能会接触到大量“令人不安和困扰的AI生成的内容” 。
微软表示 ：“这凸显了很重要的一点 ，AI红队要拥有能让操作员在需要时脱离工作的高防服务器流程 ，还要有支持他们心理健康的资源 。”
研究人员警告称 ，生成式AI模型在现代应用中的集成引入了新的攻击向量，其中一个案例是 ，视频处理AI应用中的一个过时的FFmpeg组件引入了服务器端请求伪造（SSRF）漏洞 ，允许恶意黑客提升系统权限 。
研究团队表示 ：“AI模型通过引入新的漏洞扩大了攻击面 。香港云服务器”并指出 ，提示注入攻击利用了AI模型通常难以区分系统级指令和用户数据的事实。
参考来源：https://www.securityweek.com/ai-wont-take-this-job-microsoft-says-human-ingenuity-crucial-to-red-teaming/
相关文章
美国国家标准与技术研究所NIST）宣布，名为Ascon的认证加密和散列算法系列将成为标准算法，用于轻量级密码学应用。该算法旨在保护由物联网IoT）创建和传输的信息，包括其无数的微型传感器和执行器。同时2025-12-07
当前，百行百业持续推进数字化转型，软件测试作为提质增效和预防风控的保障作用日益凸显。11月3日，紫光股份旗下新华三集团联合中国软件测试认证委员会CSTQB）、TMMi基金会中国分会TMMiCN）共同举2025-12-07
Mac系统如何使用U盘进行启动（一步步教你如何在Mac上使用U盘进行系统启动）
在使用Mac电脑的过程中，有时我们可能需要使用U盘来进行系统启动。这种情况可能出现在我们需要安装新的操作系统、修复系统问题或者进行数据恢复等情况下。本文将详细介绍如何在Mac上使用U盘进行系统启动，并2025-12-07
目前，各类组织和企业的数据中心建设已经很普遍，但是单一的数据中心已经很难适应新时代的业务需求，迫切需要多数据中心互联。主要体现在以下几个方面。业务规模快速增长当前，云计算、智能化等新兴业务正在快速发展2025-12-07
概述本白皮书提供了有关一般恶意软件操作、IDS事件类型、要求、建议和参考的信息。技术摘要恶意软件恶意软件）是旨在破坏系统运行、窃取数据或未经授权访问网络的代码。常见的恶意软件类型包括病毒、蠕虫、木马、2025-12-07
在日常生活和工作中，我们经常需要将文件从电脑复制到U盘上。然而，有些人可能并不熟悉这个过程，所以本文将为大家提供一份简易教程，以帮助大家快速、简单地将文件复制到U盘上。1.确保U盘连接成功在开始之前，2025-12-07
最新评论