引言

隨著計算機網(wǎng)絡的快速發(fā)展和普及，各類網(wǎng)絡應用層出不窮。當前，計算機網(wǎng)絡的規(guī)模越來越大，業(yè)務也越來越復雜,系統(tǒng)對網(wǎng)絡的可靠性、可用性及網(wǎng)絡服務質(zhì)量的要求也越來越高。網(wǎng)絡流量監(jiān)控分析可以在很少甚至完全不影響現(xiàn)有網(wǎng)絡的情況下，對計算機網(wǎng)絡的運行狀況進行全面的監(jiān)控分析,是實現(xiàn)網(wǎng)絡管理和網(wǎng)絡安全防護的重要組成部分。高效合理地運行網(wǎng)絡流量實時監(jiān)控分析系統(tǒng)，可以在最短時間內(nèi)發(fā)現(xiàn)安全威脅，并在第一時間進行分析，確定攻擊源。結(jié)合基于流量的網(wǎng)絡管理系統(tǒng)和入侵檢測系統(tǒng)等，可以及時地發(fā)出威脅預警，以便快速采取措施，及時化解網(wǎng)絡攻擊，確保網(wǎng)絡的運行效率和安全。

網(wǎng)絡流量監(jiān)控分析的基礎是協(xié)議識別技術，目前的主要方法有常用端口識別、深度報文檢測(DeepPacketInspection，DPI)、深度流檢測(DeepFlowInspection，DFI)以及這幾種方法的混合。常用端口識別技術是根據(jù)協(xié)議通信五元組中的端口號來識別應用的，如常用的HTTP協(xié)議一般采用80端口，以協(xié)議所用的端口號為80來識別HTTP協(xié)議。當前，由于采用自定義端口、隨機端口甚至加密隧道等應用日益增多，采用常用端口識別已經(jīng)很難滿足需要。深度報文檢測是根據(jù)各類應用的連接數(shù)、單個IP地址的連接模式、上下行流量的比例關系、數(shù)據(jù)包發(fā)生頻率等數(shù)據(jù)流的行為特征，來對流量的應用類型進行區(qū)分的技術，可以較好地識別出應用的類型(如是否P2P應用等)，但無法對具體的應用進行詳細的分析，只能實現(xiàn)應用類型的初步歸類。DPI技術是一種基于特征字的識別技術，可根據(jù)不同協(xié)議的特征(包括協(xié)議所使用的端口、協(xié)議報文負荷(payload)中的特定字符串或特定的二進制數(shù)據(jù)等)來檢測和識別出具體的應用協(xié)議。DPI具有檢測準確率高、原理相對簡單、實現(xiàn)速度快等多個優(yōu)點,因而具有較為廣泛的應用。本文介紹的網(wǎng)絡流量實時監(jiān)控分析系統(tǒng)(以下簡稱RT-TMA，Real-TimenetworkTrafficMonitorandAnalysissystem)就是采用DPI技術來實現(xiàn)協(xié)議識別的。

基于DPI的網(wǎng)絡流量實時監(jiān)控分析系統(tǒng)在網(wǎng)絡管理與網(wǎng)絡安全防護中起著非常重要的作用，而目前的網(wǎng)絡流量實時監(jiān)控分析大都針對運行商的核心骨干網(wǎng)絡，價格昂貴。此外，作為高校使用的網(wǎng)絡流量監(jiān)控分析系統(tǒng)，還需具備足夠的可擴展接口，以便在完成網(wǎng)絡管理與安全防護的同時，提供學生認知實習、開放性實驗以及科研支撐。為此，本文提出了一種基于DPI的網(wǎng)絡流量實時監(jiān)控分析系統(tǒng)RT-TMA。該系統(tǒng)具有高可擴展性、實現(xiàn)簡單、接口豐富等特性，可較好地滿足高等院校，特別是高校實驗教學中心對網(wǎng)絡流量實時監(jiān)控分析系統(tǒng)的需要。

1RT-TMA的系統(tǒng)模型

RT-TMA是一種被設計用于高等院校校園網(wǎng)、實驗室網(wǎng)絡及中小型企業(yè)的網(wǎng)絡流量實時監(jiān)控分析系統(tǒng)。與其他網(wǎng)絡流量監(jiān)控系統(tǒng)不同的是,RT-TMA還提供有豐富的二次開發(fā)接口，為網(wǎng)絡流量監(jiān)控分析相關開發(fā)人員及科研人員提供理論驗證和算法研究的實驗平臺。

RT-TMA由高性能報文收發(fā)引擎(PacketI/OEngine)、DPI引擎、規(guī)則庫、RT-TMA用戶界面以及可能的擴展庫等幾個部分構成，其體系結(jié)構如圖1所示。

1中的高性能報文收發(fā)引擎主要完成網(wǎng)絡流量的采集以及可能的控制報文發(fā)送，可選的技術包括netmap[8]、PF_RING和零拷貝網(wǎng)卡驅(qū)動等。通過對這些技術的具體實現(xiàn)接口進行封裝，可使之對外提供規(guī)范的libpcap或winpcap接口，在確保對外接口函數(shù)不變的情況下，使RT-TMA可使用或測試多種不同的高性能報文收發(fā)引擎。

規(guī)則庫主要包括具體協(xié)議的DPI特征字及其檢測算法的實現(xiàn)，同時包括傳統(tǒng)規(guī)范網(wǎng)絡應用的端口表，以用于配合DPI引擎完成對具體協(xié)議的識別。

DPI弓|擎是RT-TMA的核心，可在DPI規(guī)則庫、數(shù)據(jù)庫(配置信息等)、可選的擴展庫以及用戶操作等基礎上，完成對網(wǎng)絡流量的協(xié)議識別、統(tǒng)計、分析等功能。

RT-TMA用戶界面作為人機交互界面，主要提供用戶操作和管理DPI引擎、顯示各類信息等。

2RT-TMA的關鍵實現(xiàn)

RT-TMA主要針對高等院校、實驗教學中心和中小企業(yè)的網(wǎng)絡進行流量監(jiān)控分析，此外，RT-TMA還可作為科研平臺和實驗平臺來使用，因此，在RT-TMA的實現(xiàn)中，采用先實現(xiàn)全部功能再進行性能優(yōu)化、先實現(xiàn)基本功能再進行二次擴展的思路。

2.1基于winpcap的報文收發(fā)實現(xiàn)

考慮到RT-TMA對現(xiàn)有流量采集技術的兼容性，在高性能報文收發(fā)引擎的實現(xiàn)中，確保對上層提供統(tǒng)一的libpcap/winpcap接口函數(shù)，底層所用技術則根據(jù)硬件平臺、網(wǎng)卡驅(qū)動、操作系統(tǒng)等各種因素決定?？紤]到Windows操作系統(tǒng)的限制，RT-TMA當前的報文收發(fā)引擎采用了winpcap來實現(xiàn)。后續(xù)根據(jù)需要，也可改用零拷貝網(wǎng)卡驅(qū)動或其他NDIS技術來實現(xiàn)。

winpcap是libpcap的Windows版本，具有跟libpcap一樣的接口函數(shù)。Winpcap由一個核心的包過濾驅(qū)動程序、一個底層動態(tài)鏈接庫packetdll和一個高層的獨立于系統(tǒng)的函數(shù)庫構成，可提供一整套標準的報文收發(fā)接口，同時具有良好的性能。利用winpcap來實現(xiàn)流量采集的步驟及函數(shù)調(diào)用如下：

打開指定網(wǎng)卡。winpcap提供了一個pcap_open_live(constchar*device，intsnaplen，intpromisc，intto_ms，char*ebuf)函數(shù)來打開指定的網(wǎng)卡進行監(jiān)控，其中第3個參數(shù)指定是否設置為混雜模式，第1個參數(shù)用于指定要監(jiān)控的網(wǎng)卡。在具體實現(xiàn)時，程序從配置文件中讀入要監(jiān)控的網(wǎng)卡，或者直接由用戶通過RT-TMA用戶界面來指定要監(jiān)控的網(wǎng)卡。winpcap還提供了pcap_findalldevs()這個函數(shù)來獲取所有可用的網(wǎng)卡列表，用戶可通過用戶界面來選擇要監(jiān)控的列表。

設置過濾規(guī)則。根據(jù)用戶對網(wǎng)絡流量監(jiān)控分析的側(cè)重點不同，可以設置只采集IP報文或者全部報文。根據(jù)配置文件或用戶操作，可通過調(diào)用pcap_compile(pcap_t*p，structbpf_program*fp，char*str，intoptimize，bpf_u_int32netmask)和pcap_setfilter(pcap_t*p，structbpf_program*fp)兩個函數(shù)來實現(xiàn)。

處理采集的數(shù)據(jù)包。winpcap提供了集中處理采集到的報文的方式來適應不同的需要，這里RT-TMA選擇了使用阻塞的多線程方式來實現(xiàn)。在正確完成第(1)步和第(2)步的工作后，可通過循環(huán)調(diào)用pcap_next_ex獲得報文，然后調(diào)用具體的數(shù)據(jù)包處理函數(shù)進行分析處理。

2.2DPI引擎的實現(xiàn)

OpenDPI是一個源自商業(yè)PACE的DPI開源庫，支持IPv6并能識別近120種協(xié)議，還可以根據(jù)網(wǎng)絡協(xié)議對數(shù)據(jù)包進行分類統(tǒng)計，包括協(xié)議數(shù)據(jù)包的數(shù)量、大小、協(xié)議類型等信息，得到了業(yè)界廣泛的認同。更為重要的是，OpenDPI使用LGPL開源協(xié)議，允許開發(fā)者自行修改代碼并用于商業(yè)應用。

RT-TMA的DPI引擎采用的是在OpenDPI基礎上開發(fā)的xDPI引擎。相比OpenDPI，xDPI主要包括如下幾個方面的改進：一是支持的協(xié)議更加豐厚；二是支持更多的統(tǒng)計屬性；三是可提供擴展接口，為深度流檢測及其他算法提供基礎；四是性能得到進一步優(yōu)化。xDPI的基本流程如下：

數(shù)據(jù)結(jié)構初始化。完成對基本數(shù)據(jù)結(jié)構的初始化,包括時間戳、調(diào)用信息輸出函數(shù)等。

設置要檢測的協(xié)議。設置要檢測的協(xié)議，這里指設置檢測全部支持的協(xié)議，代碼為：

//enableallprotocols

XDPI_BITMASK_SET_ALL(all);

xdpi_set_protocol_detection_bitmask2(m_xdpi_struct,&all);

設置調(diào)用協(xié)議規(guī)則庫時的初始條件和函數(shù)入口地址。

m_xdpi_struct=xdpi_init_detection_module(m_ndetection_tick_resolution,debug_printf);

if(m_xdpi_struct==NULL)

{

OutputDebugString(“ERROR:globalstructureinitializationfailed\n”);

returnFALSE;

}

將所有待分析協(xié)議分類劃分?？梢韵雀鶕?jù)協(xié)議的類型(只處理IPv4報文，并且不處理碎片報文)進行初步的劃分，將不支持的報文類型都設置成Unknown；然后按照TCP/IP分層協(xié)議的層次，依次將報文由下至上進行處理，解析出源地址、目的地址、源端口、目的端口和報文負載等信息，并根據(jù)源地址、目的地址、源端口、目的端口的信息歸并到對應的數(shù)據(jù)流(flow)；再將TCP報文和UDP報文等分別調(diào)用對應的處理函數(shù)進行協(xié)議識別。

協(xié)議識別。根據(jù)協(xié)議報文的負載和端口信息進行詳細的分析，判斷報文的具體協(xié)議。

報文統(tǒng)計。對原始報文數(shù)量、原始流量大小、IP報文數(shù)量、IP報文大小等數(shù)據(jù)進行詳細統(tǒng)計。

3運行測試

為了測試RT-TMA，本文選取對千兆網(wǎng)絡接入的實驗教學示范中心的出口網(wǎng)絡進行監(jiān)控分析。RT-TMA的網(wǎng)絡部署如圖2所示。

通過對實驗室核心交換機D-LINKDGS-1210-24進行配置，可將上行端口的流量通過端口鏡像的方式發(fā)送到RT-TMA，再由RT-TMA進行實驗室網(wǎng)絡的流量實時監(jiān)控分析。

通過對實驗室核心交換機D-LINKDGS-1210-24進行配置，可將上行端口的流量通過端口鏡像的方式發(fā)送到RT-TMA，再由RT-TMA進行實驗室網(wǎng)絡的流量實時監(jiān)控分析。

4結(jié)語

本文介紹了一個名為RT-TMA的網(wǎng)絡流量實時監(jiān)控分析系統(tǒng)的設計方案和關鍵技術實現(xiàn)方法，并給出了系統(tǒng)的運行測試結(jié)果。該方法對于網(wǎng)絡流量監(jiān)控分析系統(tǒng)的開發(fā)、DPI算法研究等，都具有較高的參考價值。本文介紹的RT-TMA目前可識別的協(xié)議還有限，DPI規(guī)則及檢測器的性能和算法還有較大的進一步優(yōu)化空間。此外，混合DFI及其他協(xié)議識別技術來進一步提升系統(tǒng)的協(xié)議識別準確率和性能還需要進一步的研究和測試。這些都是需要在下一步工作中進行研究和測試的內(nèi)容。

20211018_616c5c7ab5522__網(wǎng)絡流量實時監(jiān)控分析系統(tǒng)的設計與實現(xiàn)