深信服日志分析管理系统，采用基于大数据组件架构，采用分层的数据处理结构设计， 从数据采集到最终的数据分析呈现形成完整的处理逻辑过程 。层次划分如下：

（1）数据采集层

采集包括主机数据、中间件数据、数据库、第三方网络和安全设备日志。该层提供多 种接口进行多源日志数据的采集和对接，支持主动、被动相结合的数据采集方式，支 持通过Agent采集日志数据，支持通过syslog、SNMP Trap、JDBC、WMI、webservice、 FTP、文件/文件夹读取、Kafka等多种方式完成日志收集。

（2）数据预处理层

对采集的数据进行预处理，包括数据清洗、数据归并、数据富化，最终数据转换为平 台可理解的格式化数据，以文件的形式进行存在，等待分析。

（3）大数据分析层

读取经过预处理后的数据进行离线计算，或读取ES（Eleastic Search）数据进行实 时机算。在此进行全网安全数据的检测、分析和统计，并结合多源数据智能分析，发 现安全威胁现状，同时，内置的多条安全关联规则可将数据进行归并告警。

（4）数据存储层

分析数据和结果存储在ES引擎（Eleastic Search） 中，可提供快速的检索能力。同 时，对用于近期需要快速呈现的统计结果数据存放到MongoDB，可快速读取，相比ES 引擎无需渲染和消耗内存。

（5）数据服务层

基于APP的方式设计整个数据可视化的展示，基于从数据存储层获取数据的接口，读 取展示数据，提供各种数据的安全可视服务及对外接口服务。

可视化使用ext作为JS框架，基于ECharts作为图形库， 以vue架构作为数据可视化呈 现支撑。