综合日志审计系统
概述
随着信息化进程的深入和互联网的迅速发展，人们的工作、学习和生活方式正在发生巨大变化，效率大为提高，信息资源得到最大程度的共享。紧随信息化发展而来的网络安全问题日渐凸出，如果不能很好地解决这个问题，必将阻碍信息化发展的进程。由此可见，信息安全在社会生活的各个方面已受到更为广泛的关注，其重要性也日益明显。
随着互联网和云计算的发展，公有云服务器是人们越来越容易接受的产品，其最普遍受益的一点就是节省成本。企业不必像拥有私有云那样去购买，安装，操作或运维服务器或是其他设备。在一个公有云的服务供应商提供的平台上，企业只需使用或开发他们自己的应用程序即可。但公有云的安全问题也是显而易见的，基于Internet的公有云服务的特性，全世界只要能上网的人就可以访问到其云服务器，其在云主机及其云上的数据受到威胁会更多而且更复杂，数据相对于私有云处于一个不稳定的状态。
不管是传统的信息化还是未来趋势的云计算，都面临着安全的风险，从安全防护的角度来说，需要一个循序渐进的方式去完善安全体系。一般建设的顺序是网络安全、主机安全、数据安全的顺序逐步完善。对于传统信息化，要优先处理网络安全，但对于云服务器来说，网络安全是提供云服务的厂家要重点考虑的事情，反而主机安全是要优先考虑的内容了。本产品就是通过对日志的分析来解决主机的安全尤其是访问安全，帮助企业有效的主机的管理和维护。
产品介绍
1、产品简介
综合日志审计系统能够通过主被动结合的手段，实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息，网络流量的信息，并将这些信息汇集到审计中心，进行集中化存储、备份、查询、审计、告警、响应，并出具丰富的报表报告，获悉全网的整体安全运行态势，实现全生命周期的审计管理。
1、体系结构
综合日志审计系统产品主要有三大模块：日志审计、流量审计。每个模块由三部分组成，一部分是数据采集，一部分是对采集的数据进行在线格式化分析处理、过滤、规则验证，同时产生告警；一部分是数据存储系统，把采集分析的内容和规则生成的告警信息存入数据存储系统；最后部分是web服务器，管理员可以通过http方式对日志信息告警等进行查看、管理。
l 采集器
采集器主要是对日志、网络流量进行采集，然后对采集的数据进行在线格式化分析处理，把数据分解成不同的维度，然后对格式化后的数据进行告警分析，产生告警，同时存储原始数据和格式化后的数据。采集器可以分布式部署，每个采集节点可以采集数据，同时可以存储数据，这样就形成了一个采集集群，可以横向无限扩展，支持海量数据。
l 数据存储系统
对采集器采集的数据(格式化、原始)、生成的告警进行存储，同时存储这些告警所对应的数据源，系统通过集群算法可以关联到采集集群，同时存储系统还存储了账号，基础数据等信息。
l Web服务器
Web服务器主要是给管理员操作的入口，主要包括首页门户，审计搜索，告警配置，工单管理，资产管理，系统管理几部分。
系统架构
采用组件式平台架构，实现了分层的逻辑架构，包括：审计数据源层、数据采集层、业务层和应用层。如下图所示：
l 审计数据源层
审计对象层是指审计数据源对象，数据源包括各类型的网络设备、安全设备、应用系统、主机等能产生相关日志的设备和信息系统；网络数据流中的原始数据包。日志审计对象须开放接口才可以收集到日志；网络流量审计数据源包括网络流量镜像、数据转发等，如果审计对象开放的接口是私有协议，系统可以通过定制开发协议的方式进行支持。
l 采集层
在该层日志采集利用Syslog、SnmpTrap、Jdbc、本地文件、Sftp/Ftp远程采集文件、Sniffer、Agent方式进行采集，从审计对象获取日志，并对原始日志信息进行范式化、分类、过滤、归并，统一推送到业务层进行分析、存储；网络流量采集利用ntopng抓包网络镜像流量方式进行采集，并对原始数据包进行解析、分类、过滤、归并统一推送到业务层进行存储。
l 业务层
业务层有日志审计、网络流量审计，目前日志审计是具备最完善、业务场景最多的模块，日志审计利用关联分析引擎对采集的日志进行分析，触发规则，生成告警记录；通过高性能海量数据存储代理将日志进行快速存储；通过分布式查询引擎实现日志查询；通过日志聚合引擎实现日志抽取。
l 应用层
面向系统的使用者，提供一个图形化的显示界面，展现安全审计系统的各功能模块，提供综合展示、日志审计、告警规则、工单管理、报表组件、资产管理、系统设置等功能。
产品功能
1、综合展示
用户登录即可进入综合展示仪表盘(首页)。通过盘，能够快速的导航到各个功能。用户能够通过仪表盘从不同的方面对日志进行审计，可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图，以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表盘，按需设计仪表板显示的内容和布局，可以为不同角色的用户建立不同维度的仪表板。
2、日志审计
系统提供日志审计(搜索)功能，可以对解析、过滤后的日志审计数据进行搜索查看。并支持保存搜索、自定义时间以及表格导出。
3、网络流量审计
系统提供网络流量审计功能，对原始数据流中的数据包解析、过滤、统一存储。并将解析后的五元组数据以报表形式展示。
4、告警规则
系统具备日志关联分析功能。通过关联分析规则，系统能够对符合关联规则条件的日志产生告警。系统提供了可视化的规则编辑器，用户可以定义基于逻辑表达式的关联规则，所有日志字段都可参与关联。规则支持统计计数功能，可以对达到一定统计数量的日志进行告警。
5、工单管理
系统携带工单管理模块，批量分配用户告警信息的处理、归类等。
6、报表组件
系统内置了丰富的报表模板，包括统计报表、明细报表、综合审计报告，审计人员可以根据需要生成不同的报表。系统内置报表生成调度器，可以定时自动生成日报、周报、月报、季报、年报，并支持以邮件等方式自动投递，支持以PDF、Excel、Word等格式导出，支持打印。系统还内置了一套报表编辑器，用户可以自行设计报表，包括报表的页面版式、统计内容、显示风格等。
7、资产管理
系统提供资产管理功能，可以对网络中的审计数据源资产进行管理。除基本资产信息外，系统提供灵活的资产分类功能，实现对资产的分类管理。系统提供基于拓扑的资产视图，可以按图形化拓扑模式显示资产，并可编辑资产之间的网络连接关系，通过资产视图可直接查看该资产的日志及告警信息。系统能够根据收到的日志的设备地址自动发现新的资产。
8、搜索查询
系统提供日志的查询功能，便于从海量数据中获取有用的日志信息。用户可自定义查询策略，基于日志时间、名称、地址、端口、类型等各种条件进行组合查询，并可导出查询结果。系统还提供快速查询和模糊查询功能。用户在检索历史日志记录时，系统可以通过多条件相结合的方式进行日志查询，根据日志的类型、发生时间、不同字段内容等进行精细匹配，如：日志源IP、日志发生时间、登录账号、信息字段内容等，从而实现日志的快速准确定位。
9、参考知识管理
系统内置日志字典表，记录了主流设备和系统的日志ID的原始含义和描述信息，方便审计人员在进行日志审计的时候进行参考。
10、用户管理
系统提供三权分立设计，内置系统管理员、用户管理员和审计管理员。
系统提供用户集中管理的功能，对用户可以访问的资源进行细致的权限划分，具备安全可靠的分级及分类用户管理功能，支持用户的身份认证、授权、用户口令修改等功能。不同的操作员具有功能操作权限。
11、系统管理
系统具有丰富的自身配置管理功能，包括自身安全配置、系统运行参数配置、审计资源配置等。系统具有系统自身运行监控与告警、系统日志记录等功能。
产品特点
综合日志审计系统不需要在机器上安装软件，只要支持标准syslog、snmp、sftp/ftp、jdbc等标准协议即可采集分析日志，不改变过客户的原有方式，部署便捷，不会破坏本身的网络结构，不会影响到原主机性能。采集器支持横向扩展集群功能，在不改变现有环境的情况下，非常方便的增加采集节点，并整合到系统中进行协同工作，通过这种横向集群方式可以支持海量日志的收集，存储，分析展示的能力。
综合志审计系统具有强大的日志分析、网络流量分析能力，可以支持单条日志的分析，多条日志的组合分析，定时场景的分析，先后条件满足的分析。通过这些分析能力，能满足绝大多数用户分析场景的需求。
综合日志审计系统整合了全文搜索Elasticsearch，我们对Elasticsearch进行了优化，并有源码级的支持能力。Elasticsearch是一个灵活、功能强大的开源、分布式、实时搜索和分析引擎。从设计之初就考虑了分布式环境，所以它具有天然的可靠性和可扩展性，Elasticsearch使您能够轻松地的使用全文检索的功能。通过其强大的、健壮的RESTfulAPI和查询DSL，支持多种客户端，如Java、Python、Clojure等。
部署方式
产品部署分4部分内容，数据源部分，采集器采集部分，数据库部分和web服务器部分，第一部分是数据源，支持syslog、snmp、jdbc、sftp/ftp等协议，其余三部分是本产品的主要部分，这四部分内容可以根据规模大小部署在一台机器或者多台机器上面。