综合日志审计系统
概述
随着信息化进程的深入和互联网的迅速发展,人们的工作、学习和生活方式正在发生巨大变化,效率大为提高,信息资源得到最大程度的共享。紧随信息化发展而来的网络安全问题日渐凸出,如果不能很好地解决这个问题,必将阻碍信息化发展的进程。由此可见,信息安全在社会生活的各个方面已受到更为广泛的关注,其重要性也日益明显。
随着互联网和云计算的发展,公有云服务器是人们越来越容易接受的产品,其最普遍受益的一点就是节省成本。企业不必像拥有私有云那样去购买,安装,操作或运维服务器或是其他设备。在一个公有云的服务供应商提供的平台上,企业只需使用或开发他们自己的应用程序即可。但公有云的安全问题也是显而易见的,基于Internet的公有云服务的特性,全世界只要能上网的人就可以访问到其云服务器,其在云主机及其云上的数据受到威胁会更多而且更复杂,数据相对于私有云处于一个不稳定的状态。
不管是传统的信息化还是未来趋势的云计算,都面临着安全的风险,从安全防护的角度来说,需要一个循序渐进的方式去完善安全体系。一般建设的顺序是网络安全、主机安全、数据安全的顺序逐步完善。对于传统信息化,要优先处理网络安全,但对于云服务器来说,网络安全是提供云服务的厂家要重点考虑的事情,反而主机安全是要优先考虑的内容了。本产品就是通过对日志的分析来解决主机的安全尤其是访问安全,帮助企业有效的主机的管理和维护。
产品介绍
1、产品简介
综合日志审计系统能够通过主被动结合的手段,实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息,网络流量的信息,并将这些信息汇集到审计中心,进行集中化存储、备份、查询、审计、告警、响应,并出具丰富的报表报告,获悉全网的整体安全运行态势,实现全生命周期的审计管理。
1、体系结构
综合日志审计系统产品主要有三大模块:日志审计、流量审计。每个模块由三部分组成,一部分是数据采集,一部分是对采集的数据进行在线格式化分析处理、过滤、规则验证,同时产生告警;一部分是数据存储系统,把采集分析的内容和规则生成的告警信息存入数据存储系统;最后部分是web服务器,管理员可以通过http方式对日志信息告警等进行查看、管理。
l 采集器
采集器主要是对日志、网络流量进行采集,然后对采集的数据进行在线格式化分析处理,把数据分解成不同的维度,然后对格式化后的数据进行告警分析,产生告警,同时存储原始数据和格式化后的数据。采集器可以分布式部署,每个采集节点可以采集数据,同时可以存储数据,这样就形成了一个采集集群,可以横向无限扩展,支持海量数据。
l 数据存储系统
对采集器采集的数据(格式化、原始)、生成的告警进行存储,同时存储这些告警所对应的数据源,系统通过集群算法可以关联到采集集群,同时存储系统还存储了账号,基础数据等信息。
l Web服务器
Web服务器主要是给管理员操作的入口,主要包括首页门户,审计搜索,告警配置,工单管理,资产管理,系统管理几部分。
系统架构
采用组件式平台架构,实现了分层的逻辑架构,包括:审计数据源层、数据采集层、业务层和应用层。如下图所示:
l 审计数据源层
审计对象层是指审计数据源对象,数据源包括各类型的网络设备、安全设备、应用系统、主机等能产生相关日志的设备和信息系统;网络数据流中的原始数据包。日志审计对象须开放接口才可以收集到日志;网络流量审计数据源包括网络流量镜像、数据转发等,如果审计对象开放的接口是私有协议,系统可以通过定制开发协议的方式进行支持。
l 采集层
在该层日志采集利用Syslog、SnmpTrap、Jdbc、本地文件、Sftp/Ftp远程采集文件、Sniffer、Agent方式进行采集,从审计对象获取日志,并对原始日志信息进行范式化、分类、过滤、归并,统一推送到业务层进行分析、存储;网络流量采集利用ntopng抓包网络镜像流量方式进行采集,并对原始数据包进行解析、分类、过滤、归并统一推送到业务层进行存储。
l 业务层
业务层有日志审计、网络流量审计,目前日志审计是具备最完善、业务场景最多的模块,日志审计利用关联分析引擎对采集的日志进行分析,触发规则,生成告警记录;通过高性能海量数据存储代理将日志进行快速存储;通过分布式查询引擎实现日志查询;通过日志聚合引擎实现日志抽取。
l 应用层
面向系统的使用者,提供一个图形化的显示界面,展现安全审计系统的各功能模块,提供综合展示、日志审计、告警规则、工单管理、报表组件、资产管理、系统设置等功能。
产品功能
1、综合展示
用户登录即可进入综合展示仪表盘(首页)。通过盘,能够快速的导航到各个功能。用户能够通过仪表盘从不同的方面对日志进行审计,可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图,以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表盘,按需设计仪表板显示的内容和布局,可以为不同角色的用户建立不同维度的仪表板。
2、日志审计
系统提供日志审计(搜索)功能,可以对解析、过滤后的日志审计数据进行搜索查看。并支持保存搜索、自定义时间以及表格导出。
3、网络流量审计
系统提供网络流量审计功能,对原始数据流中的数据包解析、过滤、统一存储。并将解析后的五元组数据以报表形式展示。
4、告警规则
系统具备日志关联分析功能。通过关联分析规则,系统能够对符合关联规则条件的日志产生告警。系统提供了可视化的规则编辑器,用户可以定义基于逻辑表达式的关联规则,所有日志字段都可参与关联。规则支持统计计数功能,可以对达到一定统计数量的日志进行告警。
5、工单管理
系统携带工单管理模块,批量分配用户告警信息的处理、归类等。
6、报表组件
系统内置了丰富的报表模板,包括统计报表、明细报表、综合审计报告,审计人员可以根据需要生成不同的报表。系统内置报表生成调度器,可以定时自动生成日报、周报、月报、季报、年报,并支持以邮件等方式自动投递,支持以PDF、Excel、Word等格式导出,支持打印。系统还内置了一套报表编辑器,用户可以自行设计报表,包括报表的页面版式、统计内容、显示风格等。
7、资产管理
系统提供资产管理功能,可以对网络中的审计数据源资产进行管理。除基本资产信息外,系统提供灵活的资产分类功能,实现对资产的分类管理。系统提供基于拓扑的资产视图,可以按图形化拓扑模式显示资产,并可编辑资产之间的网络连接关系,通过资产视图可直接查看该资产的日志及告警信息。系统能够根据收到的日志的设备地址自动发现新的资产。
8、搜索查询
系统提供日志的查询功能,便于从海量数据中获取有用的日志信息。用户可自定义查询策略,基于日志时间、名称、地址、端口、类型等各种条件进行组合查询,并可导出查询结果。系统还提供快速查询和模糊查询功能。用户在检索历史日志记录时,系统可以通过多条件相结合的方式进行日志查询,根据日志的类型、发生时间、不同字段内容等进行精细匹配,如:日志源IP、日志发生时间、登录账号、信息字段内容等,从而实现日志的快速准确定位。
9、参考知识管理
系统内置日志字典表,记录了主流设备和系统的日志ID的原始含义和描述信息,方便审计人员在进行日志审计的时候进行参考。
10、用户管理
系统提供三权分立设计,内置系统管理员、用户管理员和审计管理员。
系统提供用户集中管理的功能,对用户可以访问的资源进行细致的权限划分,具备安全可靠的分级及分类用户管理功能,支持用户的身份认证、授权、用户口令修改等功能。不同的操作员具有功能操作权限。
11、系统管理
系统具有丰富的自身配置管理功能,包括自身安全配置、系统运行参数配置、审计资源配置等。系统具有系统自身运行监控与告警、系统日志记录等功能。
产品特点
综合日志审计系统不需要在机器上安装软件,只要支持标准syslog、snmp、sftp/ftp、jdbc等标准协议即可采集分析日志,不改变过客户的原有方式,部署便捷,不会破坏本身的网络结构,不会影响到原主机性能。采集器支持横向扩展集群功能,在不改变现有环境的情况下,非常方便的增加采集节点,并整合到系统中进行协同工作,通过这种横向集群方式可以支持海量日志的收集,存储,分析展示的能力。
综合志审计系统具有强大的日志分析、网络流量分析能力,可以支持单条日志的分析,多条日志的组合分析,定时场景的分析,先后条件满足的分析。通过这些分析能力,能满足绝大多数用户分析场景的需求。
综合日志审计系统整合了全文搜索Elasticsearch,我们对Elasticsearch进行了优化,并有源码级的支持能力。Elasticsearch是一个灵活、功能强大的开源、分布式、实时搜索和分析引擎。从设计之初就考虑了分布式环境,所以它具有天然的可靠性和可扩展性,Elasticsearch使您能够轻松地的使用全文检索的功能。通过其强大的、健壮的RESTfulAPI和查询DSL,支持多种客户端,如Java、Python、Clojure等。
部署方式
产品部署分4部分内容,数据源部分,采集器采集部分,数据库部分和web服务器部分,第一部分是数据源,支持syslog、snmp、jdbc、sftp/ftp等协议,其余三部分是本产品的主要部分,这四部分内容可以根据规模大小部署在一台机器或者多台机器上面。