从理论到实践,AI技术在高级威胁防护中的应用与创新
作者: 日期:2021年09月24日 阅:2,644

访谈嘉宾 :富吉祥

记    者 :张安媛

分 析 师 :王剑桥

高级持续性威胁因其形式多变、持久化、对抗性强及隐蔽性强的特点使得企业的安全防护所面临的挑战愈加严峻,但任何事情都具有两面性,它在为企业带来巨大安全风险的同时,也催生出了很多新型防护技术,人工智能的应用就是其中之一。

北京金睛云华科技有限公司技术总监  富吉祥

现代社会,人工智能的广泛应用已经不再是什么新鲜事了,它为“危机四伏”的网络安全环境带来了新的防护手段,而且最直接的优点之一就是解放了劳动力,对于网络安全运营团队来说,人工智能的引入让他们在面多枯燥繁杂的数据告警压力时看到了新的希望。但理论的诞生到技术的落地是一个充满荆棘的过程,尤其对于存在情报窃取、网络攻击即服务和勒索软件攻击等严峻威胁的高级威胁防护领域,任何监测上的纰漏都可能会对企业造成无法挽回的伤害,对于一些国家关键信息基础设施建设企业和监管部门来说,更是不能有丝毫马虎。人工智能在高级威胁防护领域的实践与落地始终备受关注。因此,本期牛人访谈我们邀请到了北京金睛云华科技有限公司(以下简称“金睛云华”)的技术总监富吉祥,针对高级威胁防护技术的发展情况,尤其是人工智能在该领域的实际应用方向和具体应用能力,以及其未来的发展展望进行了详细的解读,以下是访谈内容:

安全牛:您认为行业内高级威胁检测技术发展历程如何?现阶段是一个怎样的状态?

富吉祥:从高级威胁检测产品上来看,行业内从关注入侵检测系统IDS到基于全流量分析的NTA/NDR,再到最近比较“热”的XDR,即将EDR、NDR和MDR等系统结合到统一平台上的这样的变化。检测技术也从关注特征检测转变到了行为分析检测,并且业内对于高级威胁攻击的过程和技战术手段的关注也在不断增加。

防火墙、杀软和IDS这“老三样”是最初特征检测阶段最常用的工具,而发展到现如今对行为分析检测更加关注之后,全流量分析产品也开始融入智能行为分析技术,比如可以采用自动化沙箱技术来分析恶意文件的主机和网络行为,然后再对行为结果进行智能分析研判。可以对网络中的恶意或异常流量进行行为建模,通过行为模式分析发现网络安全风险。

安全牛:高级威胁检测系统与传统的威胁检测产品相比技术难点有哪些?

富吉祥:APT等高级威胁通常是一个长期连续的事件过程,从入侵到横向移动,再到获取目标数据会涉及到多种攻击的组合。在现在复杂的网络流量环境中,IDS类产品的告警数量非常多,它会识别到上述攻击流程的部分攻击事件并进行告警,但无法识别一些新型的、变种后的网络攻击,同时也无法对上述整个攻击过程中的事件进行综合分析研判,需要耗费安全运营团队的大量时间在海量告警中挖掘。这是APT高级威胁检测产品相对于传统威胁检测产品要解决的难点。

与此同时,如何在海量网络数据中发现威胁线索、特别是特征检测技术不能发现的高级威胁,如0day/Nday漏洞攻击、恶意的加密流量、变种样本或新产生的恶意文件也是APT威胁检测产品的技术难点所在。解决这一难点的方法可以利用沙箱的恶意文件行为分析技术及基于人工智能的威胁行为分析技术。

沙箱可以理解为设备上的一个虚拟操作系统环境,其中内置了office、Adobe等软件环境,当文件进入沙箱之后,首先会扫描文件的静态构成,然后会在虚拟环境中去运行这一文件,运行之后就会产生本地行为,比如修改了系统文件或启动了某项进程等,然后沙箱会根据这些行为来判断是否是恶意行为,判定出相应的威胁程度;另外这个文件在虚拟环境中,还可能出现外联互联网的行为,外联流量会被送入流量监测引擎进行研判,如是否命中了恶意域名的黑名单等,最后沙箱根据这些综合的行为判断样本的危害性。

安全牛:您上述提到的人工智能技术在高级威胁检测中具体是怎样实现的?发挥了怎样的作用?

富吉祥:人工智能技术可以很好的应用于图像识别、模式识别(如语言识别)和自然语言处理等领域。通过将部分安全问题映射到图像、模式和文本类数据,就可以利用人工智能的预测能力发现传统特征检测技术无法发现的未知威胁和高级威胁。即基于基因图谱技术检测恶意文件变种;基于步态指纹技术检测恶意加密流量及隐蔽隧道这些通过防火墙或IDS无法识别的威胁;基于自然语言处理的技术实现对DGA域名和SQL注入、XSS、Webshell等WEB类攻击等。

展开来说,基因图谱技术就是我们通过B2G算法把一个文件映射成一张图像,当我们的数据样本足够多时,就会有大量的图像,基于图像相似度进行聚类并进行家族标记,通常是相同恶意文件家族的图像会聚类到一起。这时我们再通过人工智能的CNN算法对其进行图像识别训练,训练之后,人工智能就可以通过CNN模型识别出一个个威胁“家族”的文件基因,后续把待检测样本通过这个模型进行检测,就能识别出具有相应“家族”基因的恶意文件新变种。

步态指纹技术与此类似,我举个例子,每个人走路的步调是不同的,具体体现在步伐大小和频率上。同理,一个恶意样本的外联加密流量或恶意加密攻击行为也会有一个客户端同服务端的多轮交互过程,我们会对这个过程中流量的数据包传输频率、方向、大小及其中的协议特征进行分析,最后基于上述数据生成特征向量,这个特征向量其实就是对网络交互过程的行为模式的描述,通过训练使人工智能模型能够有效的识别这类过程的技术就是步态指纹技术,针对隐秘隧道建模也是同理。

第三个就是自然语言处理技术,通过该技术对大量有威胁和正常的文本构成进行语义和词频特征提取,然后基于这些特征向量,建立威胁识别模型,基于这个模型对新产生的文本数据进行威胁智能识别。以上三种技术就是基于图像识别、模式识别、文本数据识别等建模过程,实现了利用人工智能技术对高级威胁和未知威胁的检测能力。

安全牛:很多APT攻击是有潜伏期的,潜伏期内的威胁可以检测到吗?另外,通过人工智能技术对高级威胁攻击整个过程中事件的关联分析,也是一个溯源的过程,该过程目前可以达到一个怎样的程度?

富吉祥:潜伏就代表已经入侵成功了,入侵成功之后,这些高级威胁肯定会有对外连接的心跳,因此连接心跳是识别潜伏期攻击的很好的切入点。比如说某高级威胁是通过明文的心跳或者是隐蔽隧道(DNS隧道等)的方式去实现心跳连接的,那么识别这些外联的过程是发现已经被入侵的有效方式。

至于溯源,我们刚刚讲攻击的发生是个连续的过程,会有很多步骤,当发现攻击后,也就是看到攻击结果时,就会去排查是在哪一块出现了问题,比如企业的财务的一些关键数据被外发出去了,就需要去排查它是在哪里被发出去的,查到之后还会进一步调查恶意威胁是怎样入侵到这一设备的,邮件钓鱼亦或是其他方式。

对于一个溯源的过程,具体要溯源到哪一步,取决于这个企业或者组织它对该事件的关注程度。比如说国家CERT、公安等监管单位,溯源的过程可能就会更深入一些,有可能会去溯源到某一个实体。

对于某些关键信息基础设施类大型企业,它可能也会溯源到是哪些组织或实体在实施攻击,但是对很多中小企业或影响很小的攻击类型,并不会溯源很深,这些企业组织更在意本次威胁事件在企业内部的入口是什么、这些威胁是怎么进来的、消除风险后,后续是否还会再次发生……这是他们关注的重点。

安全牛:人工智能在实际落地中应用并不广泛,您认为阻碍人工智能在安全检测领域的发展因素是什么?

富吉祥:人工智能技术其实很多年前就被提出了,近几年才逐渐“火”起来。这是因为它开始变得可落地了。过去,也有人工智能算法,但是算力不够,导致人工智能训练过程很慢,甚至不可实现;另外就是可用于训练的数据不够,不能让模型实现很好的应用效果。随着GPU等算力的大规模提升,信息化和数字化发展进程的加快,可用于训练的数据变得越来越多,人工智能技术更可落地了,并实现了很好的效果突破。

但相较于杀软、规则检测等技术手段,人工智能依旧属于一个较新的前沿技术领域,在当前常用的检测技术能产生一定效果情况下,发展并利用人工智能技术,首先需要企业认可这个方向,人工智能会给企业带来实际的检测效果及应用价值,能够解决具体的问题,这样人工智能领域才能获得持续的资源投入,长期研发和积累。

人工智能的发展需要技术人才支持,既懂人工智能又懂网络安全的综合人才依旧匮乏,这也是一个不利因素。而且人工智能的发展,需要选定要解决的具体细分领域的网络安全问题,并持续收集大量的数据,根据需要进行标注,人工智能的效果和数据的质量相关性很大,细分领域高质量的安全数据缺失也是一个阻碍因素。

安全牛:您认为未来人工智能在高级威胁检测领域的发展形式如何?在人工智能的助力下,网络安全行业会迎来哪些新的改变?

富吉祥:我认为随着更多的网络安全企业对人工智能威胁检测的关注与投入,相信人工智能会在更多的细分威胁领域落地,达到不错的效果。这里的细分领域,可能是针对某一类恶意加密流量的识别,或者是对特定网络攻击的识别等,当然,要想实现对这些细分领域的实际应用落地,前提是一定要获取大量的训练数据并深入研究。

同时,已经有很多研究表明人工智能技术也可用于网络攻击,如利用强化学习等技术可以自动化生成绕过多种杀软的变种恶意文件及绕过传统检测工具的Web攻击等,我们将会面临更复杂、变化快速的高级威胁攻击手段及载荷,所以,未来可能会出现基于人工智能技术的网络攻击和检测手段的持续对抗及升级。

安全牛评

网络安全中的攻防是相辅相成的,安全防护技术在进步的同时,攻击者也在不断提升自身的攻击水平。高级威胁已经成为大型企业关注的网络安全威胁重点之一,一旦被高级威胁攻陷,造成的损失是不堪设想的。高级威胁潜伏期长,结构复杂,仅通过人工手段很难发现。人工智能在网络安全领域的应用还处于初级阶段,但应对以APT为代表的高级威胁时,却急需人工智能技术的辅助。一方面,人工智能能提升威胁检测的效率,减少重复性的人工操作;另一方面,随着检测数据类型增多、数据量庞大,只有人工智能才能在海量数据中发现威胁。随着算法和算力的提升,人工智能将能发挥更大的作用,是安全产品必备的技术要点。


相关文章