从研究传统软件安全的角度来说，大模型作为一种软件、一种系统、一种软件产品，是否也存在传统软件安全领域的问题？是否也会被入侵？它所运行的系统是否也会被攻击者控制，进而去控制大模型的行为？

(相关资料图)

9月7日至8日的腾讯数字生态大会上，腾讯安全团队发起对大模型网络安全的讨论。腾讯安全玄武实验室负责人于旸表示，大模型自身存在的一些安全问题。

具体来说，清华大学计算机科学与技术系教授朱军表示，人工智能几大要素——数据、模型算法和应用场景中，数据端存在的安全问题有隐私保护、储存安全、数据恶意泄露等。模型算法端如目前使用较广泛的深度学习，或经典机器学习模型，本身也可能存在安全问题。另外，当人工智能可以快速高效地生成一些以假乱真的内容时，它可能会引起监管和伦理上的风险，即应用端的安全问题。

腾讯安全策略发展中心总经理吕一平大会期间与多位行业人士交流，发现大家对大模型所带来的新的网络安全问题已有关注。此外，安全大模型能否应用在类似于安全攻防环节中，也就是大模型成为了你的对手，如通过大模型高效生成社工脚本、生成恶意木马等，这也是客户比较关心的。

可能引发的安全危机该如何应对？于旸表示，人工智能技术在网络安全行业的应用已有一段时间了，当时很多探索者将图像算法运用在网络安全检测上，并取得了不错的效果，但一直没有得到特别大规模的应用。很多较为成功的案例仅仅聚焦在一些特定场景和领域，并未真正实现行业性的变革。由此可见，短期内深度学习相关技术在安全行业仍有一定的局限性。

这与深度学习技术难以获得足够多的数据有关，于旸归纳了三方面原因：第一，在网络安全领域很难获得足够的打标数据；第二，如果用相关技术去研究漏洞，则需要有足够多的漏洞数据去进行训练，但现存的网络安全漏洞量级并不足以形成足够的、成熟的、可用的数据；第三，数据打标需要相关技术人员去操作，这需要消耗很多昂贵的技术人力。这些原因导致了深度学习技术在安全领域的应用存在掣肘。

这一局面有可能被大模型技术改变。于旸表示，当用大模型来开展一些检测分析工作时，它不需要通过“投喂”大量相关数据进行学习训练了，基于其强大的推理能力，在少量的调整下就可以实现指令的执行。

在于旸看来，大模型和深度学习等方法不太一样，大模型可以使用工具，包括网络攻防的工具、编程的工具等，通过借助外部工具并对工具处理结果进行分析，判断是否需要再用别的工具，从而完成任务需求。这样一来，大模型的能力越大，能够改变的领域也越多。

但在眼下的风险应对举措上，吕一平对记者表示，短期来看，腾讯云安全中心将发布类似于微软AI Copilot的产品，帮助客户分析安全事件，将安全运营、安全分析的能力门槛降低。另在7日上午的主峰会上，腾讯云总裁邱跃鹏发布了一款由玄武实验室研发的隐私保护工具。通过一种生成式双向脱敏技术，保障用户在使用AIGC类产品时，隐私信息不会随着prompt提交给模型方泄密。

长期来看，吕一平认为目前行业对大模型的关注度实在太高，但还远未到广泛应用的阶段。安全是伴随的属性，伴随着技术的应用落地才会逐渐诞生对应的策略。

“网络安全产业之前一直面临一个问题，有很多事情必须要依靠人去做，这就带来了一个问题：成本居高不下。网络安全威胁是全球化的，地球上每一分钟都有还没有睡觉的攻击者，这种问题在之前可能都是矛盾，今天有了大模型技术的加持，我们看到相关的问题解决可能出现了曙光。”于旸称。

如果从大模型看更大范围的“智能化”趋势，腾讯集团副总裁、腾讯安全总裁丁珂表示，产业互联网进入“智能化”下半场，企业安全建设将面临四个方面的挑战：企业安全防御的半径将大幅增加、遭遇攻击后的反应窗口期将进一步缩短、辨别“人”和“机器”的难度增大、现存的安全“情报库”逐渐失效。

在此趋势下，丁珂提出三个调整思路：拥抱智能化时代，需要建立发展驱动的安全建设理念；建立可度量的安全体系，评估安全建设的有效性；应对智能化时代的攻防趋势，企业需要打造内在自适应的“安全免疫力”。

（文章来源：第一财经）