导言

骨干网流量监控系统主要是针对省级网络运营商规模的网络进行监控，流量一般都在100G以上。网络监控系统的架构与传统的IDS类似，都是通过分光器或者专用流量回流设备将流量镜像到监控系统，由于流量很大，所以需要配置专门的一级分流设备和二级流量负载均衡设备来进行流量的分流再接到每台处理设备进行处理。这对单台处理机的计算能力和网络IO能力都提出了很高的要求。为此，专门研发出Flowfirm解决接入和分流的问题，Netfirm、videospeed等多种硬件设备，来提升处理机的网络流量处理能力，而随着这些手段的采用，也给传统网监系统的建设带了新的变化。

方案架构

骨干网流量监控系统方案分三个层次：前端一级分流设备将镜像进行处理，并根据一定原则均衡的分流到各个服务器；前端处理平台，配置Netfirm的前端处理探针对流量进行处理，为考虑到未来业务的扩展，前端探针将处理不了的流量转发到后端；前端二级处理平台，配置高速协处理卡的网络处理一体机对这些数据进行更深入的挖掘和分析。同时分流设备具有流量复制功能，能够将特定流量复制并传输到其他地方的监控网络使用。

系统架构如下：

方案特色

Flowfirm - S流量接入分流设备

骨干网中的流量有很多种类，有效的数据包、无效的数据包等，如果直接交给服务器处理平台进行处理，不仅增加服务器处理的压力，而且增加整个链路的压力，同时对软件业务系统的包处理和分类能力是一个很大考验。而Flowfirm - S正式在这种背景下，将骨干网的大流量进行汇聚、初步分析和处理，对业务“关心”的流量甄别并交给后续处理系统。

Flowfirm - S是基于国际开放电信设备标准ATCA规范开发的，针对通信运营商、各级政府安全单位需求的专用电信级综合流量设备，主要用于各级POS/SDH及以太网线路进行流量的采集、过滤、汇聚分流以及其它复杂的流量规划功能。

Flowfirm - S的主要功能包括：

1) 流量接入：支持各种接口子卡，支持OC3，OC12，OC48，OC192，GE，XE的单模，多模光纤链路，可接入40G POS、10G POS、10GE、2.5G POS、622M POS、155M POS、GE/FE多种流量，可支持混合接入、高密度接入，单板接入密度达到1路40G 或4路10G或16路2.5G。支持单纤的收和发。

2) 交换协议支持：主要针对POS接口，支持基于SDH/SONET的以太，PPP和CHDLC封装的报文；支持MPLS封装，VLAN封装的IPV4/IPV6格式报文，并可剥离；通过解析HDLC、PPP、MPLS等封装，提取IP数据包，再进行后续处理。兼容各种底层封装参数。

3) ACL（数据包匹配分类）：支持基于五元组的灵活和掩码规则；支持基于载荷的指定偏移的带掩码数据匹配扩展ACL功能（DPI功能）；同时支持IPV4和IPV6功能；支持用户定义的六种灵活五元组规则200万条（IPV4），100万条（IPV6）；支持掩码规则60万（IPV4），20万（IPV6）；支持不同规则种类间的32种优先级；支持标准ACL和扩展ACL之间的绑定；分类规则按规则集方式进行管理，用户可创建并设置多个规则集，并将规则集绑定到多个接口之上。

4) 流量过滤、汇聚、负载均衡分发：对命中ACL规则的报文，支持丢弃，透传，分流转发，流量复制，报文截断，采样分流；报文的分流支持多种负载分担算法（轮询、Hash、五元组等算法）；分流组内节点可基于硬件端口，也可以基于后端服务器IP地址；动态监测后端服务器状态，或者端口状态，动态更新分流组，并尽可能保证同源同宿；支持32个分流组，组内最多支持256个节点；输出报文的源MAC支持信息携带功能。

5) 流量复制：支持同一规则的流量复制：即为符合某条规则的流量指定复制方式，在不影响这条流量的分发策略的前提下，可以将流量复制到另一个或一批GE/10GE口输出。

6) 数据包再封装：对处理的IP包进行最后的符合标准以太协议的再封装，并可携带输入接口等信息；支持对输出数据包进行截短、提取有用头部。

7) 网管功能：支持SNMP、Telnet和ssh等网管功能。

                                            图 Flowfirm - S分流设备

Flowfirm - S具有以下特性：

1) 适应性强

针对低链路密度的监控提供高性价比的单板或双板方案，针对高链路密度的应用提供基于背板交换的大容量解决方案。

2) 电信级标准

基于电信级开放平台的最高标准ATCA，提供基于标准的高可靠性产品，具有优秀的芯片/刀片异构能力，可按需配置网络处理刀片、通用计算刀片、各种专业业务刀片（如DSP语音通信刀片等）。保护用户投资。

3) 全硬件转发

多引擎流水线的硬件处理流程保证数据的线速转发。包处理流水线每一个部分都有多个引擎工作。

4) 应用多样性

适应高复杂度的过滤匹配和应用处理需求，面向不断复杂化的新兴网络应用。

5) 高性价比

专门优化设计的分流设备。能够根据用户实际的需求和网络环境进行功能定制化。

6) 数据处理功能

包含多种接口的流量接入、协议转换、数据包匹配分类、流量过滤、流量汇聚分发和负载均衡、流量复制、数据包再封装等。

7) 支持设备级联扩展

突破单设备系统的机箱槽位容量，并可按需扩展级联，为支持未来网络发展提供极大的空间。

图 Flowfirm - S设备级联

利用Netfirm提高单机处理能力

Netfirm是专门针对网络流量监控项目而研发的一块高性能智能网络加速卡。Netfirm基于FPGA实现，内置4G大内存做数据处理，利用Netfirm可以实现流量高速接入、卸载cpu负载等功能，是在当前越来越大的网络流量的情况下，解决高网络流量带来的众多问题的利器。

图Netfirm智能加速卡

Netfirm给网监系统带来的优势包括：

1）0% CPU消耗，100% 数据包捕获

普通的网卡在接收数据过程中需要耗费大量的cpu资源，并且随着网络流量的增大，这种消耗变得非常可观以至于无法100%将网络数据获取下来，对业务系统的监控效果造成影响。由于这个原因，传统的网监应用的单机处理能力只能做到500Mbps左右。Netfirm智能加速卡将整个数据接收过程由硬件自动实现，从而在不消耗任何CPU资源的同时，保证了数据完全获取，即使处理10Gbps的流量也没有任何的丢包。

2）分流技术充分发挥每个CPU的计算能力

随着CPU技术从提高主频转向多核技术，如何利用好这么多的CPU核成为网监系统需要解决的重要问题。Netfirm针对网监系统的特点，将接收的流量根据源目的IP信息进行分流，使得处理负载在多个CPU核间进行均衡，从而充分发挥CPU多核的处理能力。

3）灵活丰富的过滤规则进一步降低CPU负载

提高单机处理能力的另一个思路是将简单不需要处理的流量过滤掉，这样就可以将主机资源全部集中到有效流量的处理上来。基于这一思路，Netfirm可以配置200K的IP过滤规则，并配置针对不同链接进行丢弃、转发、标记等多种动作，从而进一步提高单机处理能力。

4）支持多个应用无缝融合，提高资源利用率，便于未来应用的扩展

在网监系统建设的初期，基本都是采用一套应用一套硬件的建设方法。但随着系统的逐渐成熟，用户需要更多的功能更多的应用时，再想使用这种方法时，就会遇到机房空间、硬件采购成本等一系列问题。最好的实现方式是在一套硬件上运行多种不同的应用业务，并且二者间不相互影响，这在传统的网监系统中是无法实现的。但Netfirm则从设计之初就考虑到网监系统业务扩展的可能性，支持多个不同应用同时从Netfirm取数据，并保证其间的隔离性，从而大大降低了网监系统业务扩展中的成本。

5）基于通用接口和专用接口的API，便于应用的移植

目前很多网监系统的应用在研发过程中是以普通网卡为基础开发的，考虑到这一点，Netfirm支持与普通网卡一样的使用方式，并且提供相同的访问接口，只有在需要使用Netfirm附加功能时才需要使用专用接口，从而大大缩短了网监应用的移植周期。

基于Videospeed的二级数据处理

Videospeed协处理卡是针对传统网监系统中难以处理的诸如音视频流量等非文本数据的监控所研发出的一块基于众核技术的协处理卡。该卡可以提供高速并行处理能力，可以支持多路音视频码流的编解码处理，从而对过去普通网监系统处理不了的音视频流量进行处理。 也可以作为通用计算加速平台，用于其它特定流量的深度数据处理。

图 Videospeed加速卡

Videospeed协处理卡具有以下特性：

1) 基于众核技术：采用Tilera众核处理器，大大简化系统架构， 成本，功耗及PCB板面积，可以根据单核处理能力，精确地分配资源以实现所规划的功能，达到优化性能和节省功耗。

2) 处理能力强大：完成一定流量音视频混合流的解码，目前能够支持400MB以上的流量

3) 支持多种主流视频格式：主流的视频格式 H264，H263，Mpeg1/2，Mpeg4，vp6，flv，asf，avi等

4) 支持矢量运算：某些矢量运算等函数运算加速

高性能网络处理一体机

高性能网络处理一体机可以将骨干网监控方案中的流量处理探针和二级处理平台集成为一台一体机，单台一体机提供10片双路多核处理机的计算能力，配置6片Netfirm，可以支持24根GE，或者6根10GE流量的监控。配置4片videospeed协处理卡，可以进行这些流量的二级处理。也可以全部配置Netfirm进行10GE流量的处理，最多提供单台一体机100G流量的处理能力，具有极高的性价比。