随着人工智能技术在各行各业的深度渗透，网络安全领域正经历一场前所未有的变革。威胁行为者正在利用AI发起新一代复杂攻击，其速度更快、规模更大、隐蔽性更强。InfoQ最新一期虚拟座谈会汇聚了来自学术界和产业界的多位安全专家，共同剖析了AI威胁的最新演变趋势。
在众多AI攻击类别中，提示注入和越狱攻击是目前最常见且最具破坏力的手段之一。攻击者只需要精心构造的文本内容，就能操纵AI模型的行为、覆盖系统指令，甚至触发非预期的操作。由于AI工具经常与网页、文档和用户消息等外部内容进行交互，恶意指令可以在无人察觉的情况下渗透进入系统。更值得警惕的是，一旦攻击者影响了模型的响应或决策，这种影响就会像多米诺骨牌一样波及下游系统、自动化流程或人类决策过程。
AI增强的大规模社会工程学攻击则是另一大新兴威胁。攻击者可以结合开源情报和泄露的数据，利用生成式AI制作出高度个性化的钓鱼信息。这些信息不再是传统的群发式诈骗，而是"工业化"量产的精准说服攻击。攻击者能够生成数千条量身定制的接触尝试，并维持逼真的后续对话，对异议、紧迫性及核实问题作出令人信服的回应。即使组织实施了多因素身份验证，这些攻击活动也越来越将目标转向会话劫持、服务台身份恢复等周边流程。AI并未发明新的欺骗手段，但它消除了曾经限制此类攻击实施频率和效果的障碍。
在更技术性的层面，间接提示注入结合代理系统中的工具滥用正在成为安全团队必须面对的新挑战。一旦AI助手连接到企业工具——如电子邮件、工单系统、文件共享、CRM、CI/CD管道和云API——主要风险就从"模型说了什么"转向"模型在合法权限下能做什么"。攻击者无需攻破模型本身，只需将恶意指令植入模型在正常工作流中会摄入的不可信内容中，就能劫持代理的行为，通过已获批准的连接器窃取数据、发送邮件或创建敏感工单。这种表面上的合法性使得传统安全控制措施难以有效应对。
传统的事件响应手册在应对AI系统时往往力不从心。AI系统可能表现得难以预测，并展现出新的、意想不到的行为。各组织正在重新审视其事件响应策略，因为AI故障与传统的安全问题截然不同——团队不仅要应对恶意软件或配置错误，现在还必须处理提示注入、受污染的训练数据、被盗的模型权重等行为类问题。
证据收集范围已经超越传统日志，扩展到涵盖提示词、检索到的文档、工具调用跟踪记录、模型版本哈希值、策略快照以及训练数据溯源等全新维度。针对AI量身定制的遏制策略正在形成，包括禁用高风险工具和连接器、缩小检索范围、回滚模型或提示词版本，以及实施更严格的防护措施。事件发生后，行为回归测试变得至关重要，必须保证系统恢复到已知的正常行为基线。
跨职能事件响应团队的组建成为趋势。安全分析师现在需要与机器学习工程师、数据科学家和软件团队并肩协作，共同构建"设计安全"的AI系统。监控范围也在扩展，涵盖提示词、模型输出、数据管道以及任何可能表明AI系统出现偏离、被操纵或故障的迹象。安全团队必须掌握的新技能包括AI取证、理解模型故障模式、评估方法论，以及分析"模型受到哪些因素影响"的能力——包括数据、检索、工具和政策等多个维度。
随着组织逐步转向自主性更高的AI代理，安全防护的重点正从保障执行指令的软件，转向保障能够做出决策并采取行动的软件。传统的安全架构假设行动总是由人类或受严格控制的服务发起，一旦代理开始在各种工具和工作流中运行，这一假设便不再成立。
安全专家一致认为，AI代理必须被视为真正的身份实体，而非功能组件。每个智能体都需要拥有独立的用户档案、权限、凭证和生命周期，就像一名员工一样。企业不应该默认信任智能体，而是应该采用"零信任"理念——仅向智能体授予其绝对必需的有限权限，并对每项敏感操作进行策略合规性核查。安全负责人应该立即着手：对所有AI系统进行盘点，将智能代理集成到身份和访问管理中，设计能在出现错误时安全限制智能代理行为的环境，并组建专门针对AI的"红队"。
从思维方式上，安全工程师需要完成的最大转变，是从单纯关注漏洞利用转向关注系统行为和风险遏制。在AI驱动的系统中，意外或"奇怪"的行为并非边缘案例，而是运行模式的一部分。目标并非追求完美或消除所有故障模式，而是为了在事情不可避免地出错时，具备韧性、可预见性和可控性。正如座谈会专家所总结的：AI安全不再主要侧重于修复软件，而是更多地关注对这一强大的数字行为体的监督与约束——使验证、监督和遏制成为保障未来系统安全的核心举措。
对于青海地区的政企单位而言，AI安全威胁的加速演进同样值得高度关注。随着越来越多的青海企业开始将AI引入生产流程、客户服务和数据管理，传统的网络安全防护体系需要同步升级。建议本地安全团队从现在开始关注AI系统的威胁建模，建立AI相关安全事件的监测和响应机制，并在采购或引入AI服务时，将安全评估纳入供应商准入标准。未雨绸缪，方能在AI时代的安全博弈中赢得主动。
© 2026 西宁惠康电子有限公司 | 青海·西宁