换个方向看流量可视化 如何做到1+1+1>3
作者:星期四, 四月 26, 20180

RSA会议所在的场馆Moscone Center分为南馆和北馆两个区域,两馆的连接大厅是参展人员、展商、媒体们的聚集地,也是人气最旺的地方。2018年的会场上,大厅的大屏上以可视化的方式展示了Cisco针对整体RSA会议定制的安全保障方案,其中关于流量方面的展现十分突出,吸引了不少眼球。

Cisco在RSA会议上进行大屏可视化呈现

上述Cisco的呈现方案正是目前可视化潮流的缩影:如果说策略可视化这个概念还稍显小众的话,那么流量可视化的概念已经非常普及和流行了,相关的参展厂商也为数众多,展位上各种流量可视化的页面呈现让人看得眼花缭乱。在这样发展变革的趋势下,安博通产品经理调研流量可视化产品时,重新找到了一个分类进行切入。

NPBs产品引入

在国内,传统上我们比较偏向将流量可视化归类为APM产品,主要关注网络性能方向。但随着解决方案的发展,流量分析这一核心能力所能解决的问题,或者说技术的需求方已经不只局限于网络性能(Network Performance),所以安博通在本次会议上着重调研了Gartner的另一个技术面覆盖更广的分类:NPBs。

NPBs产品架构示意图

NPBs,即(Network Packet Brokers),Gartner对其定义为:

Devices that receive network traffic as input from multiple SPAN ports, then manipulate the traffic by breaking it down into chunks of related data and transmitting the data chunks to their respective monitoring and security tools.

从定义上看,NPBs产品执行流量收取,并将报文拆开分块进行分析,并提供结果给可视化和安全工具进行下一步业务处理。安博通认为NPBs的定义包含更多的业务涵义,所以更适合匹配市场上的流量可视化产品。

通过调研,NPBs产品的组成模式可以看作是1+1+1,即:分流负载+提取分析+数据应用,其中分流负载部分执行物理层和链路层的流量分发(如分光)以及流量负载均衡(按特定规则进行报文分类处理)、提取分析部分执行报文内容还原(如SSL卸载和标签剥离)和关键信息提取(如应用层审计、文件重组)、数据应用部分执行信息耦合(API接口)和调用(可视化呈现/威胁分析/性能管理等)。这三个部分的逻辑从获取到加工再到应用层层递进,可包括多数主流的流量可视化产品的设计思路。

NPBs产品组成模式示意图

2018三大发展趋势

针对参加2018年RSA大会的流量可视化厂商,安博通产品经理进行了现场交流和方案整理,总结出以下三个主要发展趋势:

1. 流量分析发展为标准中间件

在RSA会议上,安博通产品经理发现基于流量分析能力而衍生出来的解决方案越来越多,例如基于流量匹配信息来梳理安全策略、通过分析应用层内容进行用户画像、通过分析空口传输参数进行RAN(continuous radio access)网络优化等。随着更多应用需要流量深层内容作为信息输入,流量分析和可视化能力已经成为一种标准的中间件,正在被定义得越来越标准:从最基本的五元组信息、用户、时间信息,到七层应用内容、SSL加密信息、传输质量参数,再到实时分析、历史查询、可视化呈现,所有层面上的需求都在通用化。

在中间件趋势下,竞品厂商之间也会通过方案合作的方式互相补充流量分析能力。例如,同样作为领先的NPBs厂商,Gigamon与Flowmon各自擅长安全方案和性能管理方案,这两家厂商也联合推出了安全+性能解决方案:Gigamon将流量进行解析后通过API接口按照需要的格式提供给Flowmon平台以实现双重分析,过程中Gigamon的流量分析能力就完全作为中间件出现,这样的合作案例在美国非常普遍。

Gigamon和Flowmon推出联合解决方案

说到国内比较火热的安全态势感知,美国国家安全系统委员会对其的定义是:“在一定的时间和空间范围内,企业的安全态势及其威胁环境的感知。理解这两者的含义以及意味的风险,并对他们未来的状态进行预测。”在态势感知的最初始阶段,就是由探针+Sensor组件来进行基于原始流量的信息采集感知工作,再进行安全大数据分析,从而实现预测和响应。这里的提到的探针和Sensor组件,其实就对应了NPBs产品的中间件概念,所以说NPBs是态势感知方案的重要组件和数据来源。

2. 架构:从一次拆包到一次解析

一次拆包的概念在UTM切换到NGFW的时代被普遍提及,相对不同功能模块多次拆包进行流量解析的方式,NGFW产品强调使用统一流量识别引擎只进行一次拆包,获得更高性能和更强的架构扩展性。如今,当安全防护已经进阶到APT、0day、未知威胁的阶段时,我们的网络中经常存在“多次解析”的问题。

例如,当我们在核心交换机上旁路部署了APM、APT防御、WAF等产品时,就会存在一份流量进行多次旁路的情况,此时资源消耗型的任务就会带来重复开销:每个旁路系统都会进行一次SSL解密、文件还原、内容解析…更大的问题在于扩展性,当网络带宽从5G升级到10G时,旁路的流量也翻倍,此时所有的旁路系统也要进行性能升级,这带来了运维和投资的双重负担。

所以在NPBs产品上,厂商正在实现一次解析的方案。例如Gigamon的实现方案如下图所示:由交换机将流量执行一次旁路到Gigamon设备后(分流负载),执行一次全解析过程(提取分析),再利用合作开发的API接口将文件MD5、指纹信息、流量统计值等关键信息分发给多个旁路系统(数据应用),最终完成业务流程闭环。

Gigamon的一次解析方案示意图

值得一提的是,安博通产品经理在调研中发现,大多数平台产品不需要执行元数据(即Metadata,指原始报文文件)全存储,而是可选只存储Header等关键信息的模式,这种模式介于元数据存储和日志记录之间,平衡了存储空间和信息颗粒度之间的冲突。

观察网络边界的安全部署方案,从最早的“穿糖葫芦”到“多次拆包”,再到“多次解析”,再到现在的 “一次解析”,一直保持着进步更新的趋势。总体来说,NPBs产品方案的出现,让边界安全的部署加简洁高效,让安全方案发挥得更加充分。

一次解析+多次复用的流程示意图

3. 数据应用部分的常见方向

分析2018年RSA会议中出现的NPBs厂商,一般会基于流量分析的基础能力之上以研发或方案合作的方式推出几个方向的产品,罗列如下供参考:

  • 安全方向:云抗D、APT防御、未知威胁分析、威胁情报等产品。
  • APM方向:网络/应用质量管理和分析、流量统计分析与可视化呈现等产品。
  • 特定应用方向:社交舆情监控、离职风险分析、WLAN/LTE网络质量分析、视频会议质量分析、云应用SLA管理等产品。
  • 虚拟化和云方向:公有云、虚拟部署、数据中心东西向等场景的流量分析呈现等产品。

参展厂商简析

  • Netscout

Netscout公司创建于1984年6月,是网络和应用流量监控分析行业的老牌强手,其产品线和解决方案异常全面,涉猎面非常广泛。

Netscout产品列表

Netscout解决方案列表

不过,回到RSA会议的主题:安全,Netscout在安全方面的方案却显得并不突出,安全在Netscout整体方案中的比重也不算高。在云抗D解决方案中,Netscout可以同时提供运营商和接入用户侧的产品方案,通过流量识别能力对潜在的攻击行为进行识别,以及在DDoS攻击发生的时候能够快速通过BGP路由/DNS协议等方式将流量引开。在安全解决方案中,Netscout并未明确与某些领先的专业安全厂商进行合作,但同样宣称能够进行未知威胁发现和自动化安全运维。

安博通产品经理对Netsout的流量分析和呈现进行了现场调研,demo演示中可以看到Netscout在这方面的积累还是非常深厚,不论是元数据存储和审计、质量分析和可视化呈现方案都非常成熟。

Netscout产品demo演示情况

  • Gigamon

Gigamon成立于2004年,这家公司的解决方案特色非常突出:在NPBs产品的基础上主打安全方向,在上文中提高的一次解析架构就是Gigamon正在推广的主力方案。在SSL解密方面,Gigamon的高端硬件可以提供高达40Gbps性能的在线/旁路SSL解密能力,在业界处于领先地位,这得益于其优秀的软硬件设计能力。

Gigamon产品SSL卸载方案

Gigamon在安全方案方面使用合作的方式全面铺开,其技术合作伙伴包括在安全业界顶尖的Check Point、Cisco、FireEye、IBM Security、McAfee、Palo Alto等等厂商,几百种API适配使得Gigamon的流量解析能力牢牢地扎根于整体安全解决方案中,其自身产品设计也考虑到公有云以及虚拟化环境部署,这让Gigamon通过借船出海的方式成为了安全业界的交叉点。安博通产品经理认为,Gigamon公司的合作模式非常值得国内厂商借鉴和学习。

Gigamon部分技术方案合作伙伴名录

  • Manage Engine

Manage Engine这家公司是印度人在硅谷创立的一家创业公司,整体产品解决方案同样非常明确:主打IT运维方向。在与安博通产品经理的交流中,Manage Engine的一位高级管理者强调,该公司的价值主张是在IT架构越来越复杂的情况下,通过多种工具使得用户的操作更简便,让IT运维变得更轻松、简单、可视化。

Manage Engine公司的解决方案包括AD域管理、桌面管理、移动设备管理、office 365管理、呼叫中心管理、云运维与IT运维等,甚至包括专门的IP地址规划管理组件,完全围绕一个大中型规模公司的IT架构建设思路进行产品方案设计,可以说是一个可以直接提供整体企业IT服务的产品研发型公司,这一思路显得非常新颖,用户几乎可以从Manage Engine直接拿到所有需要的产品。

该公司还有一个有趣的特点,就是其所有软件产品都可以在其官网上得到免费的demo演示版本,并且可以通过CSV文件的方式导入数据,在demo上直接仿真真实的业务,这种自信大胆的方式确实令人刮目相看。

在流量可视化方面,其带宽监控和流量分析产品具备很强的运维特色,例如其产品方案中会直接集成各种合规标准(如ISO、PCI、SANS和NIST等),根据流量识别的情况来分析网络是否存在不合规的情况,并给出报表结果。

Manage Engine合规情况分析

总体来看,Manage Engine是一家思路独特,风格大胆,产品思路清晰的优秀厂商。

  • Flowmon

Flowmon厂商的主要方向是NPMD,主打网络/应用性能监控、故障诊断和行为分析,其方案中也提供DDoS能力。整体上看,相比于以上提到的几家公司,Flowmon缺乏鲜明的特点和主旨。与其他厂商不同的是,Flowmon在流量解析能力之上提供网络代理产品和元数据记录审计产品。其广泛合作的思路与Gigmon比较类似,在合作伙伴中有F5、山石网科、IXIA、Netscope等,但并未看到深入的技术细节。

  • 安博通

安博通流量可视化产品的设计思路较为明晰,主要提供三种数据应用:溯源取证、行为审计分析和安全威胁感知,定位的业务方向是运维+安全,与Gigamon有不少类似之处。在态势感知系统中,安博通的流量可视化产品作为流量审计+态势探针组件出现,实现以下方案:

行为审计(流量识别、应用审计、数据加工)

威胁感知(基于特征的已知威胁识别、基于机器学习的未知威胁识别)

溯源取证(内网应用审计、威胁追踪、存证界定)

作为安博通整体可视化的一个组成部分,流量可视化产品也可以作为可视化平台方案的一个叠加数据层面,将流量和威胁信息叠加在策略可视化平台给出的策略路径上,并完成策略命中、策略收敛、策略建议业务,从而实现策略路径+流量分析+安全事件的独特解决方案。

安博通流量可视化产品组成

小结和建议

通过这次RSA会议上对流量可视化产品的梳理,安博通产品经理认为单就流量识别与呈现的核心能力来说,中国厂商并不弱于美国厂商,而在中国本土环境下,对于国内应用的处理更是近水楼台先得月,中国厂商的提取分析能力是更胜一筹的。但是相比美国NPBs产品的深度耦合相比,中国流量可视化产品与其他解决方案的化学反应显得不足,整体方案能力逊色。

在美国,流量分析、可视化呈现、安全防御、大数据情报、IT运维、云数据中心等领域的厂商互相间存在紧密的合作关系网,紧密围绕着NPBs产品的分流负载+提取分析+数据应用三个组成部分推出了无数个贴近用户实际应用的解决方案,完全实现了1+1+1>3的实际效果。在国内,流量可视化厂商经常需要花费大量时间去跟用户解释,为什么需要这项技术、能够解决哪些问题、核心价值在何处,就是因为厂商站在分流负载和提取分析这1+1上不愿意迈向用户业务这第三步,所以显得曲高和寡。

在RSA展会上,每一个厂商都有主打的业务模式,比如Manage Engine的运维、Gigamon的安全、Netscout的多个细分场景,作为听众一秒钟就能抓到重点,因为这些厂商本来就走得离用户更近。

在结尾,安博通产品经理希望给出一些建议:

国内的流量可视化厂商在提升流量分析的核心能力同时,可以多多走出去,以开放的心态与安全提供商、大数据提供商、运维工具提供商等方面进行深入的交流与合作,共同催生出更多贴近用户的解决方案,而不一定要把链条上的环节全部一家完做完。大家一起把场面和市场做大,才能够彻底撕下小众的标签,实现行业与用户的双赢。

作者:安博通

 

申明:本文系厂商投稿收录,所涉观点不代表安全牛立场!


相关文章