北美一家领先的投资管理公司在数据现代化过程中需要大量的数据测试工作。该项目涉及跨分布式上下游应用程序的数据移动,涉及异构存储环境的结构化数据和pb级数据量。

传统数据库和大数据领域的现有数据正在被迁移到云上,以实现已被证实的好处。这涉及到:

  • 历史数据的迁移测试
  • 从上游系统接收高质量数据到云端,以便制定战略决策和报告
  • 确保新的基础设施能够满足ETL的现有功能

主要挑战

  • 由于在客户端数据环境中缺乏经过验证的云测试解决方案,导致低效的手工测试
  • 大量待测试数据(~20 TB)和20K+测试用例
  • 每个月需要15-20个版本的验证

准备好体验吗?

专家说
行

解决方案

亚马逊网络服务(AWS)云本地解决方案的全栈自动化框架

设计并开发了数据仓库测试程序的全栈自动化框架。针对大数据、数据湖、云迁移、BI报告验证和合理化开发的测试策略包括解决方案和技能开发。

由于没有内部的云测试解决方案,客户端测试团队被迫遵循抽样手工测试方法,作为项目的一部分来验证迁移后的数据。印孚瑟斯(Infosys)的QA团队通过开发一个云解决方案来解决这个效率低下的过程,该解决方案可以自动进行云测试。这个AWS云本地解决方案主动提供给客户端,并在成功的概念验证(POC)后实现。解决方案的主要特点是:

  • 云采用利用私有/公共云
  • 使用云本地解决方案自动优化云中的数据验证
  • 基于Spark的实用程序,运行在Amazon Elastic MapReduce (EMR)集群上,能够验证存储在AWS S3 bucket、AWS关系型DBs和其他外部JDBC数据库中的数据

其他解决方案的特点包括:

  • sprint内回归和自动化测试数据管理(TDM)的全栈自动化
  • 劳动力转型,团队在多样化的技术堆栈如ETL,云,R,亚马逊服务等。
  • 在大数据框架上进行代码调优,使用各种技术将多个实用程序合并到一个框架中
  • 集中式数据管理团队,负责数据集市(大数据)和数据中心的端到端数据测试
  • 为验证而开发的基于r的数据验证框架
  • 采用左移质量度量
  • 详细的报告能力,可以深入到每个记录

实施质量工程转化的杠杆

  • 云计算采用
  • 自动化第一种方法
  • 集中数据管理
  • 劳动力转换
  • 100%采用敏捷和DevOps
行

好处

通过成功地采用云,按需提供测试环境和访问控制

对超过10亿条记录的庞大数据集进行100%的数据验证

轻松处理多个版本,采用100%敏捷,70%回归自动化

高达70%的执行效率提高和优化的数据比较