前言：ETL 测试分享

一、ETL 的概念

1、什么是ETL

ETL是将分布的、异构的数据源中的数据抽取到中间层，进行清洗转换集成，最终载入到数据仓库中。one ==>another

• E->Extract(抽取），关键元素：源数据的数据，例如关系数据、平面数据（Excel,csv,log文件)
• T->Transform(转换），关键元素：映射模型，主要描述源数据与目标数据格式的对应关系。根据映射关系对源数据进行转换、清洗、改造、修复等操作
• L->Load(载入），关键元素：标准数据，将Transform后得到的标准数据载入到目标数据仓库中

2、ETL测试流程

1. 测试流程与其他测试流程一致，在关键步骤有关键产出
   

• ETL测试思路
  目的：确保数据从源到目的地的数据经过业务转换后得到的数据的准确性
• 任务分解

1. 了解源数据来源
2. 了解源数据到目标数据的映射模型
3. 验证数据转换计算和聚合规则
4. 源和目标系统之间的样本数据比较
5. 目标系统的数据完整性和质量检查
6. 数据性能测试

• 测试场景
  

二、ETL测试工具（QuerySurge）

QuerySurge使用手册