Menú

Tutorial de pruebas de almacenamiento de datos de pruebas ETL (una guía completa)

etl testing data warehouse testing tutorial

Pruebe Nuestro Instrumento Para Eliminar Los Problemas

Pruebas ETL / Proceso y desafíos de almacenamiento de datos:

Hoy permítanme tomarme un momento y explicar mi fraternidad de pruebas sobre una de las habilidades más demandadas y próximas para mis amigos probadores, es decir, las pruebas ETL (Extraer, Transformar y Cargar).

Este tutorial le presentará una idea completa sobre las pruebas ETL y lo que hacemos para probar el proceso ETL.

Tutoriales de lista completa de esta serie:

  • Tutorial #1 : ETL Testing Data Warehouse Testing Introducción a la guía
  • Tutorial #2 : Pruebas de ETL con la herramienta Informatica PowerCenter
  • Tutorial #3 : Pruebas ETL frente a DB
  • Tutorial #4 : Pruebas de inteligencia empresarial (BI): cómo probar datos empresariales
  • Tutorial #5 : Las 10 mejores herramientas de prueba ETL

Se ha observado que la verificación y validación independientes está ganando un enorme potencial de mercado y muchas empresas ahora ven esto como una posible ganancia comercial.

Pruebas ETL _ Pruebas de almacenamiento de datos: consejos, técnicas, procesos y desafíos

A los clientes se les ha ofrecido una gama diferente de productos en términos de ofertas de servicios, distribuidos en muchas áreas en función de la tecnología, los procesos y las soluciones. ETL o almacén de datos es una de las ofertas que se están desarrollando con rapidez y éxito.

Proceso ETL

A través del proceso ETL, los datos se obtienen de los sistemas de origen, se transforman según las reglas comerciales y finalmente se cargan en el sistema de destino (almacén de datos). Un almacén de datos es un almacén de toda la empresa que contiene datos integrados que ayudan en el proceso de toma de decisiones comerciales. Es parte de la inteligencia empresarial.

Lo que vas a aprender:

¿Por qué las organizaciones necesitan Data Warehouse?

Las organizaciones con prácticas de TI organizadas esperan crear el siguiente nivel de transformación tecnológica. Ahora están tratando de ser mucho más operativos con datos fáciles de interoperar.

Habiendo dicho que los datos son la parte más importante de cualquier organización, pueden ser datos cotidianos o datos históricos. Los datos son la columna vertebral de cualquier informe y los informes son la línea base sobre la que se toman todas las decisiones de gestión vitales.

La mayoría de las empresas están dando un paso adelante en la construcción de su almacén de datos para almacenar y monitorear datos en tiempo real, así como datos históricos. Crear un almacén de datos eficiente no es un trabajo fácil. Muchas organizaciones tienen departamentos distribuidos con diferentes aplicaciones que se ejecutan en tecnología distribuida.

La herramienta ETL se emplea para realizar una integración perfecta entre diferentes fuentes de datos de diferentes departamentos. La herramienta ETL funcionará como un integrador, extrayendo datos de diferentes fuentes; transformándolo al formato preferido basado en las reglas de transformación del negocio y cargándolo en una base de datos cohesiva conocida como Data Warehouse.

El alcance de prueba bien planificado, bien definido y eficaz garantiza una conversión sin problemas del proyecto a la producción. Una empresa gana el impulso real una vez que los procesos ETL son verificados y validados por un grupo independiente de expertos para asegurarse de que el almacén de datos sea concreto y sólido.

Las pruebas de ETL o almacén de datos se clasifican en cuatro compromisos diferentes independientemente de la tecnología o las herramientas ETL utilizadas:

  • Nuevas pruebas de almacenamiento de datos - El nuevo DW se construye y verifica desde cero. La entrada de datos se toma de los requisitos del cliente y diferentes fuentes de datos, y se construye y verifica un nuevo almacén de datos con la ayuda de herramientas ETL.
  • Prueba de migración - En este tipo de proyecto, el cliente tendrá un DW y ETL existente realizando el trabajo, pero están buscando empaquetar una nueva herramienta para mejorar la eficiencia.
  • Solicitud de cambio - En este tipo de proyecto se agregan nuevos datos de diferentes fuentes a un DW existente. Además, puede haber una condición en la que el cliente necesite cambiar su regla comercial existente o podría integrar la nueva regla.
  • Prueba de informe - El informe es el resultado final de cualquier almacén de datos y la propuesta básica para la que DW construye. El informe debe probarse validando el diseño, los datos del informe y el cálculo.

Proceso ETL

( Nota : Haga clic en la imagen para ampliarla)

Prueba ETL

Técnicas de prueba ETL

1) Prueba de transformación de datos : Verifique que los datos se transformen correctamente de acuerdo con varios requisitos y reglas comerciales.

2) Prueba de recuento de origen a destino : Asegúrese de que el recuento de registros cargados en el destino coincida con el recuento esperado.

3) Prueba de datos de origen a destino : Asegúrese de que todos los datos proyectados se carguen en el almacén de datos sin pérdida de datos ni truncamiento.

4) Prueba de calidad de datos : Asegúrese de que la aplicación ETL rechace adecuadamente, reemplace con valores predeterminados e informe datos no válidos.

5) Prueba de rendimiento : Asegúrese de que los datos se carguen en el almacén de datos dentro de los plazos previstos y prescritos para confirmar la mejora del rendimiento y la escalabilidad.

optimizador de sistema gratuito para windows 7

6) Pruebas de validación de producción: Valide los datos en el sistema de producción y compárelos con los datos de origen.

7) Prueba de integración de datos : Asegúrese de que los datos de varias fuentes se hayan cargado correctamente en el sistema de destino y de que se hayan verificado todos los valores de umbral.

8) Prueba de migración de aplicaciones : En esta prueba, se garantiza que la aplicación ETL funciona bien al pasar a una nueva caja o plataforma.

9) Comprobación de datos y restricciones : En este caso, se prueban el tipo de datos, la longitud, el índice, las restricciones, etc.

10) Verificación de datos duplicados : Prueba si hay datos duplicados presentes en los sistemas de destino. Los datos duplicados pueden generar informes analíticos incorrectos.

Además de los métodos de prueba ETL anteriores, también se llevan a cabo otros métodos de prueba como las pruebas de integración del sistema, las pruebas de aceptación del usuario, las pruebas incrementales, las pruebas de regresión, las pruebas repetidas y las pruebas de navegación para asegurarse de que todo sea fluido y confiable.

ETL / Almacén de datos Proceso de prueba

Al igual que cualquier otra prueba que se encuentre bajo Verificación y Validación Independiente, ETL también pasa por la misma fase.

  • Comprensión de requisitos
  • Validando
  • Estimación de prueba basado en una serie de tablas, la complejidad de las reglas, el volumen de datos y el rendimiento de un trabajo.
  • Planificación de pruebas basado en las entradas de la estimación de prueba y los requisitos comerciales. Necesitamos identificar aquí qué está dentro del alcance y qué está fuera del alcance. También buscamos dependencias, riesgos y planes de mitigación en esta fase.
  • Diseñar casos de prueba y escenarios de prueba de todas las entradas disponibles. También necesitamos diseñar documentos de mapeo y scripts SQL.
  • Una vez que todos los casos de prueba están listos y aprobados, el equipo de pruebas procede a realizar la verificación previa a la ejecución y preparación de datos de prueba para las pruebas
  • Por último, la ejecución se realiza hasta que se cumplen los criterios de salida. Por lo tanto, la fase de ejecución incluye ejecutar trabajos ETL, monitorear ejecuciones de trabajos, ejecución de scripts SQL, registro de defectos, reevaluación de defectos y pruebas de regresión.
  • Una vez completado con éxito, se prepara un informe resumido y se realiza el proceso de cierre. En esta fase, se da la aprobación para promover el trabajo o el código a la siguiente fase.

Las dos primeras fases, es decir, la comprensión y la validación de los requisitos, se pueden considerar como pasos previos del proceso de prueba ETL.

Entonces, el proceso principal se puede representar de la siguiente manera:

proceso principal

Es necesario definir una estrategia de prueba que debe ser aceptada mutuamente por las partes interesadas antes de comenzar la prueba real. Una estrategia de prueba bien definida garantizará que se haya seguido el enfoque correcto para cumplir con la aspiración de la prueba.

Las pruebas de ETL / Data Warehouse pueden requerir escribir declaraciones SQL extensivamente por parte del equipo de pruebas o tal vez adaptar el SQL proporcionado por el equipo de desarrollo. En cualquier caso, un equipo de pruebas debe estar al tanto de los resultados que están tratando de obtener usando esas declaraciones SQL.

Diferencia entre pruebas de base de datos y almacenamiento de datos

Existe un malentendido popular de que las pruebas de bases de datos y almacén de datos es similar, mientras que el hecho es que ambos tienen una dirección diferente en las pruebas.

  • Las pruebas de bases de datos se realizan utilizando una escala de datos más pequeña, normalmente con bases de datos del tipo OLTP (procesamiento de transacciones en línea), mientras que las pruebas de almacenamiento de datos se realizan con un gran volumen de datos que involucran bases de datos OLAP (procesamiento analítico en línea).
  • En las pruebas de bases de datos, normalmente los datos se inyectan constantemente desde fuentes uniformes, mientras que en las pruebas de almacenamiento de datos, la mayoría de los datos provienen de diferentes tipos de fuentes de datos que son secuencialmente inconsistentes.
  • Por lo general, realizamos la única operación CRUD (Crear, leer, actualizar y eliminar) en las pruebas de bases de datos, mientras que en las pruebas de almacenamiento de datos usamos la operación de solo lectura (Seleccionar).
  • Las bases de datos normalizadas se utilizan en las pruebas de bases de datos, mientras que las bases de datos desmoralizadas se utilizan en las pruebas de almacenamiento de datos.

Hay una serie de verificaciones universales que deben llevarse a cabo para cualquier tipo de prueba de almacenamiento de datos.

A continuación se muestra la lista de objetos que se tratan como esenciales para la validación en esta prueba:

  • Verifique que la transformación de datos del origen al destino funcione como se esperaba
  • Verifique que los datos esperados se agreguen al sistema de destino
  • Verifique que todos los campos de la base de datos y los datos de campo se carguen sin ningún truncamiento
  • Verificar la suma de comprobación de los datos para la coincidencia del recuento de registros
  • Verifique que para los datos rechazados se generen registros de errores adecuados con todos los detalles
  • Verificar campos de valor NULO
  • Verifique que no se carguen datos duplicados
  • Verificar la integridad de los datos

=> Conoce el diferencia entre ETL / pruebas de almacén de datos y pruebas de bases de datos .

Desafíos de las pruebas ETL

Esta prueba es bastante diferente de la prueba convencional. Hay muchos desafíos que enfrentamos al realizar pruebas de almacenamiento de datos.

Aquí hay algunos desafíos que experimenté en mi proyecto:

  • Datos incompatibles y duplicados
  • Pérdida de datos durante el proceso ETL
  • No disponibilidad del banco de pruebas inclusivo
  • Los evaluadores no tienen privilegios para ejecutar trabajos ETL por su cuenta
  • El volumen y la complejidad de los datos son enormes
  • Fallo en los procesos y procedimientos comerciales
  • Problemas para adquirir y crear datos de prueba
  • Entorno de prueba inestable
  • Falta información de flujo empresarial

Los datos son importantes para que las empresas tomen decisiones comerciales críticas. Las pruebas ETL desempeñan un papel importante en la validación y garantía de que la información empresarial sea exacta, coherente y fiable. Además, minimiza el riesgo de pérdida de datos en la producción.

Espero que estos consejos le ayuden a garantizar que su proceso ETL sea preciso y que el almacén de datos construido por esto sea una ventaja competitiva para su negocio.

Lista completa de tutoriales de pruebas ETL:

  • Tutorial #1 : ETL Testing Data Warehouse Testing Introducción a la guía
  • Tutorial #2 : Pruebas de ETL con la herramienta Informatica PowerCenter
  • Tutorial #3 : Pruebas ETL frente a DB
  • Tutorial #4 : Pruebas de inteligencia empresarial (BI): cómo probar datos empresariales
  • Tutorial #5 : Las 10 mejores herramientas de prueba ETL

Esta es una publicación invitada de Vishal Chhaperia, que trabaja en una multinacional en un puesto de gestión de pruebas. Tiene una amplia experiencia en la gestión de equipos, procesos y proyectos de control de calidad de múltiples tecnologías.

¿Ha trabajado en pruebas ETL? Comparta sus consejos y desafíos de prueba ETL / DW a continuación.

Lectura recomendada

^