内容摘要：随着AI的快速发展，安全专家担心人工智能会取代他们的工作，但微软的研究人员坚持认为，有效的红队测试仍然依赖于人类的专业知识、文化意识和情商——这些品质是机器无法复制的。微软的AI红队严格测试了100多

随着AI的掌舵快速发展 ，安全专家担心人工智能会取代他们的工作工作 ，但微软的微软研究人员坚持认为 ，有效的力挺红队测试仍然依赖于人类的专业知识、文化意识和情商——这些品质是红队机器无法复制的。

微软的测试AI红队严格测试了100多款生成式AI产品，并确定人类的仍需人类创造力在发现漏洞
，建站模板以及预测黑客如何利用这些系统方面仍然至关重要。掌舵

根据雷德蒙德AI红队发布的工作白皮书
，其开源的微软PyRIT（Python风险识别工具包）等工具可以简化模拟黑客攻击 ，但最终 ，力挺在处理复杂风险方面，红队人类的测试参与仍然不可替代 。

在网络安全医学、仍需人类化学或生物风险等专业领域
 ，掌舵微软坚持认为
，人类驱动的专业知识是必不可少的亿华云 ，才能正确、精确地评估人工智能的响应，这远远超出了语言模型的能力 。

在网络安全医学 、化学或生物风险等专业领域，微软坚持认为，想要精确评估AI的响应，人类专家的专业知识必不可少 ，而这远远超出了语言模型的能力范围 。香港云服务器

微软表示：“在多次操作中
，我们依赖‘人类’来评估我们自己或使用大型语言模型（LLMs）无法评估的内容风险”，并强调“AI红队意识到这些局限性非常重要”。

公司研究团队还强调了所谓的“文化能力”，即红队必须考虑语言和文化差异
，以识别可能被主要基于英语数据集训练的AI模型忽视的安全风险。

同时研究团队指出：“AI红队中的人类元素在回答需要情商的AI安全问题时最为明显。”例如“这个模型响应在不同情境下会如何被解读
？”以及“这些输出是否让我感到不适 ？”等问题只有人类操作员才能解析 。免费模板

微软补充表示：“最终 ，只有人类操作员才能评估用户在实际环境中与AI系统进行的全部互动。”

该论文还包括一个案例研究 ，在这个案例中 ，微软红队评估了聊天机器人对陷入困境用户的回应，以此来调查“心理社会危害”。并警告说 
，红队成员可能会接触到大量“令人不安和困扰的AI生成的内容”。

微软表示：“这凸显了很重要的一点 ，AI红队要拥有能让操作员在需要时脱离工作的云计算流程 ，还要有支持他们心理健康的资源。”

研究人员警告称，生成式AI模型在现代应用中的集成引入了新的攻击向量，其中一个案例是，视频处理AI应用中的一个过时的FFmpeg组件引入了服务器端请求伪造（SSRF）漏洞 ，允许恶意黑客提升系统权限。

研究团队表示 ：“AI模型通过引入新的漏洞扩大了攻击面
。高防服务器”并指出
，提示注入攻击利用了AI模型通常难以区分系统级指令和用户数据的事实。

参考来源 ：https://www.securityweek.com/ai-wont-take-this-job-microsoft-says-human-ingenuity-crucial-to-red-teaming/