什么是数据转换

什么是数据转换

简单的说数据转换是将数据从一种格式或结构转换为另一种格式或结构的过程。数据转换对于诸如数据集成和数据管理之类的活动至关重要。

数据转换可以包括一系列活动:根据项目的需要,可以转换数据类型、通过删除空值或重复数据来清理数据、丰富数据或执行聚合。

通常,该过程涉及两个阶段。

第一阶段:

  • 执行数据发现识别源和数据类型
  • 确定需要发生的结构和数据转换。
  • 执行数据映射以定义如何映射,修改,合并,过滤和聚合各个字段。

第二阶段:

  • 从原始来源提取数据。来源的范围可以变化,包括结构化来源(例如数据库)或流来源(例如来自连接设备的遥测)或来自使用Web应用程序的客户的日志文件。
  • 执行转换。可以转换数据,例如汇总销售数据或转换日期格式,编辑文本字符串或连接行和列。
  • 将数据发送到目标存储。目标可能是处理结构化和非结构化数据的数据库或数据仓库。

发表评论

您的电子邮箱地址不会被公开。