新挑战 :大数据审计未来路在何方
作者:安华金和 发布时间:2019-08-29

面对大数据审计,如果一味沿用传统的关系型数据库审计则会出现“水土不服”的问题。在一系列针对大数据审计的项目落地过程中,安华金和总结发现

1.以操作类型为视角的统计在很多场景不再实用,如HDFS下的数据库语句实际上是对文件系统的操作命令ls、cp等;

2.由于大数据存储节点众多,故数据访问端口范围的不确定性也随之而来,传统数据库审计对“IP+端口”的数据模型已不再适用——大数据审计一般都采用动态的端口范围,而且范围较大,如某项目现场的Hive端口数量30+;

3.语句模板难以用SQL方式翻译,在关系型数据库审计中,语句模板机制能够很大程度上减少语句的记录量,业务审计采用模板方式也大大提高了统计和分析的价值;但在大数据应用下,同样的方式将难以继续此种业务呈现;

4.业务化语言无法匹配,关系型数据库的业务化语言翻译不再适用于大数据时代。 

上文所提到的“大数据审计”,共有两层含义

第一层:对使用大数据存储业务数据的“数据库”的审计;

第二层:对大量业务产生的审计数据,以大数据方式存储。

前者的本质在于数据库的审计,后者的核心在于审计数据结果的处理。

在大数据使用愈发普及的市场背景下,上述两个方面常常同时出现:一方面,伴随大数据形态的不断扩展与业务的逐渐成熟,大数据审计成为刚需;另一方面,海量的审计数据结果需要更庞大的存储空间及后续统计分析,而这正是大数据的优势所在,因而演变成为“用一个大数据应用来审计业务系统的大数据”的新局面。 

在完成对大数据审计的协议解析后,又该如何呈现更合理的审计结果和统计分析?安华金和的思路是:基于现有数据库审计“语句、会话、风险”三大视角基础框架,再结合大数据形态,有针对性地实现审计数据结果的呈现与风险策略告警的能力。此外,被审计数据库节点的增长以及审计结果数据量的迅速上升,使得审计系统本身也步入了大数据化。

图片2 副本.png

(大数据架构图)

对于大数据的审计支持能力,安华金和产品在国内具备领先优势,目前支持的大数据形态包括:Hive、HBase、Sentry、HDFS、Impala、ElasticSearch,以及MangoDB、Redis等非关系型数据库。

以某省级电信运营商项目为例,安华金和对需求的响应速度及快速交付能力得到客户的高度认可。运营商先前曾要求某友商给出其所提供应用系统的ElasticSearch大数据库审计,而友商反馈不具备审计能力,并表示国内尚无产品可以做到。然而当运营商辗转找到安华金和后,工程师仅用时三周便完成了对友商这套应用系统的大数据审计适配,而且克服了友商“网络环境故障”、“切换加密方式”等额外困难,一切以业务场景需要和客户满意为宗旨。

作为数据安全领域的领跑者,安华金和坚持深耕,不断挖掘产品新的价值点,正是凭借这种敢于技术攻坚、敢于突破自我的精神,才能打磨出具有领先性和前瞻性的成熟产品,让大数据审计日趋完善,让大数据使用更安全。