深信服日志分析管理系统，采用基于大数据组件架构，采用分层的数据处理结构设计，从数据采集到最终的数据分析呈现形成完整的处理逻辑过程。层次划分如下：

（1）数据采集层

采集包括主机数据、中间件数据、数据库、第三方网络和安全设备日志。该层提供多种接口进行多源日志数据的采集和对接，支持主动、被动相结合的数据采集方式，支持通过Agent采集日志数据，支持通过syslog、SNMP Trap、JDBC、WMI、webservice、FTP、文件/文件夹读取、Kafka等多种方式完成日志收集。

（2）数据预处理层

对采集的数据进行预处理，包括数据清洗、数据归并、数据富化，最终数据转换为平台可理解的格式化数据，以文件的形式进行存在，等待分析。

（3）大数据分析层

读取经过预处理后的数据进行离线计算，或读取ES（Eleastic Search）数据进行实时机算。在此进行全网安全数据的检测、分析和统计，并结合多源数据智能分析，发现安全威胁现状，同时，内置的多条安全关联规则可将数据进行归并告警。

（4）数据存储层

分析数据和结果存储在ES引擎（Eleastic Search）中，可提供快速的检索能力。同时，对用于近期需要快速呈现的统计结果数据存放到MongoDB，可快速读取，相比ES引擎无需渲染和消耗内存。

（5）数据服务层

基于APP的方式设计整个数据可视化的展示，基于从数据存储层获取数据的接口，读取展示数据，提供各种数据的安全可视服务及对外接口服务。

可视化使用ext作为JS框架，基于ECharts作为图形库，以vue架构作为数据可视化呈现支撑。