数据处理一般包括哪四个过程

根据数据处理流程的特点,过程可以将其归结为“理”、“采”、“存”、“用”。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。

1、理:梳理业务流程,规划数据资源

对于企业来说,每天的实时数据都会超过TB级别,需要采集用户的哪些数据,这么多的数据放在哪里,如何放,以什么样的方式放?这些问题都是需要事先进行规划。

2、采:ETL采集、去重、脱敏、转换、关联、去除异常值

前后端将采集到的数据给到数据部门,数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,目的是将散落和零乱的数据集中存储起来。

3、存:大数据高性能存储及管理

这么多的业务数据存在哪里?这需要有一个高性能的大数据存储系统,在这套系统里面将数据进行分门别类放到其对应的库里面,为后续的管理及使用提供最大的便利。

4、用:即时查询、报表监控、智能分析、模型预测

数据的最终目的就是辅助业务进行决策,前面的几个流程都是为最终的查询、分析、监控做铺垫。

     

类似文章

发表评论

您的电子邮箱地址不会被公开。