data warehouse testing tutorial with examples etl testing guide
Este tutorial cubre los objetivos y la importancia de las pruebas del almacén de datos, las responsabilidades de las pruebas ETL, los errores en la implementación de DW y ETL en detalle:
En esto Serie de capacitación en profundidad sobre almacenamiento de datos , echamos un vistazo al Qué es ET L Proceso en Data Warehouse en detalle en nuestro tutorial anterior.
Este tutorial le permitirá comprender cómo se pueden realizar las pruebas de almacenamiento de datos en una organización. También conocerá los objetivos de las pruebas de DW, cómo y qué tipo de pruebas se pueden realizar en el backend, quiénes están involucrados en este proceso, los errores de DW y la implementación de ETL en detalle.
=> Consulte TODOS los tutoriales de almacenamiento de datos aquí.
Público objetivo
- Desarrolladores y probadores de Data Warehouse / ETL.
- Profesionales de bases de datos con conocimientos básicos de conceptos de bases de datos.
- Administradores de bases de datos / expertos en big data que quieran comprender los conceptos de Data Warehouse / ETL.
- Graduados universitarios / Freshers que buscan trabajos en Data Warehouse.
Lo que vas a aprender:
Pruebas de almacenamiento de datos (ETL)
¿Cuál es la importancia de probar los sistemas de Data Warehouse y Business Intelligence?
Las pruebas desempeñan un papel fundamental en el éxito de cualquiera de los dos sistemas anteriores, ya que garantizan la exactitud de los datos que fortalecen la fe de los usuarios finales.
En general, un defecto que se encuentra en las últimas etapas del ciclo de vida del desarrollo de software cuesta más reparar ese defecto. Esta situación en el DW puede empeorar porque los datos incorrectos encontrados en las etapas posteriores podrían haberse utilizado en decisiones comerciales importantes en ese momento.
Por lo tanto, la solución en el DW es más costosa en términos de cambios de proceso, personas y tecnología. Puede comenzar las pruebas de DW desde la fase de recopilación de requisitos.
Se prepara y revisa una matriz de trazabilidad de requisitos, que principalmente asigna las características de DW con sus respectivos requisitos comerciales. La matriz de trazabilidad actúa como una entrada para el plan de prueba DW que es preparado por los probadores. El plan de pruebas describe las pruebas que se realizarán para validar el sistema DW.
También describe los tipos de pruebas que se realizarán en el sistema. Una vez que el plan de prueba esté listo, se prepararán todos los casos de prueba detallados para varios escenarios de DW. Luego, se ejecutarán todos los casos de prueba y se registrarán los defectos.
Existe un estándar en el mundo operativo que mantiene diferentes entornos para el desarrollo, las pruebas y la producción. En el mundo de DW, tanto los desarrolladores como los probadores se asegurarán de que los entornos de desarrollo y prueba estén disponibles con la réplica de los datos de producción antes de comenzar su trabajo.
Esto se copia para obtener una lista de tablas con datos limitados o completos según las necesidades del proyecto, ya que los datos de producción son realmente grandes. Los desarrolladores desarrollan su código en el entorno del desarrollador y lo entregan a los probadores.
Los probadores probarán el código entregado en los entornos de prueba para asegurarse de que todos los sistemas estén funcionando. Luego, el código se activará en los entornos de producción. El código DW también se mantiene en diferentes versiones en función de los defectos corregidos en cada versión. Mantener múltiples entornos y versiones de código ayuda a construir un sistema de buena calidad.
mejor descargador de reproductor de mp3 para android
Objetivos de las pruebas de almacenamiento de datos (ETL)
Echemos un vistazo a los objetivos de las pruebas de almacenamiento de datos.
# 1) Integridad de los datos: Asegúrese de que todos los datos de diversas fuentes se carguen en un almacén de datos. El equipo de pruebas valida si todos los registros DW están cargados contra la base de datos de origen y los archivos planos siguiendo las siguientes estrategias de muestra.
- El número total de registros cargados desde el sistema de origen debe coincidir con el número total de registros cargados en DW. Si hay una diferencia, puede pensar en los registros rechazados.
- Compare los datos cargados en cada campo de DW con los campos de datos del sistema de origen. Esto hará que aparezcan los errores de datos, si los hay.
# 2) Transformación de datos: Al cargar los datos de origen en el almacén de datos, pocos campos se pueden cargar directamente con los datos de origen, pero pocos campos se cargarán con los datos que se transforman según la lógica empresarial. Esta es la parte compleja de probar DW (ETL).
A continuación se muestran las estrategias de muestra para probar esto:
- Puede probar creando y comparando datos en hojas de cálculo. Cargue los datos transformados de origen y los datos DW en hojas de cálculo y haga una comparación. No debería haber ningún desajuste.
- Los evaluadores deben escribir las consultas según la lógica de transformación para comparar los datos DW con los datos de origen. La ejecución de la consulta garantizará que no falte la validación de datos para cualquiera de los campos.
# 3) Calidad de los datos: El sistema de almacenamiento de datos (ETL) debe garantizar la calidad de los datos cargados en él rechazando (o) corrigiendo los datos.
DW puede rechazar algunos de los datos del sistema de origen basados en la lógica de requisitos comerciales. Por ejemplo, rechazar un registro si un determinado campo tiene datos no numéricos. Todos los registros rechazados se cargan en la tabla de rechazos como referencia.
Los datos rechazados se informan a los clientes porque no hay posibilidad de conocer estos datos perdidos, ya que no se cargarán en el sistema DW. DW puede correcto los datos cargando cero en lugar de valores nulos, etc.
# 4) Escalabilidad y rendimiento: El almacén de datos debe garantizar la escalabilidad del sistema con cargas crecientes. Con esto, no debería haber ninguna degradación en el rendimiento al ejecutar las consultas, con resultados anticipados en marcos de tiempo específicos. Por lo tanto, las pruebas de rendimiento descubren cualquier problema y lo solucionan antes de la producción.
A continuación, se muestran ejemplos de estrategias para las pruebas de rendimiento y escalabilidad:
- Realice las pruebas de rendimiento cargando volúmenes de producción de datos y asegúrese de que no se pierdan los plazos.
- Valide el rendimiento de cada consulta con datos masivos. Pruebe el rendimiento mediante combinaciones simples y múltiples.
- Cargue el doble (o) el triple de los volúmenes de datos esperados para calcular la capacidad del sistema aproximadamente.
- Pruebe ejecutando trabajos para todos los informes enumerados al mismo tiempo.
# 5) Prueba de integración: El almacén de datos debe realizar pruebas de integración con otras aplicaciones ascendentes y descendentes. Si es posible, es mejor copiar los datos de producción en el entorno de prueba para las pruebas de integración.
Todos los equipos del sistema deben participar en esta fase para cerrar las brechas mientras comprenden y prueban todos los sistemas juntos.
# 6) Prueba unitaria: Esto lo realizan los desarrolladores individuales en sus entregables. Los desarrolladores prepararán escenarios de pruebas unitarias en función de su comprensión de los requisitos, ejecutarán las pruebas unitarias y documentarán los resultados. Esto ayuda a los desarrolladores a corregir cualquier error si se encuentran, antes de entregar el código al equipo de pruebas.
# 7) Prueba de regresión: Valida que el sistema DW no esté funcionando mal después de corregir cualquier defecto. Esto se realiza muchas veces con cada nuevo cambio de código.
# 8) Prueba de aceptación del usuario: Esta prueba la realizan los usuarios comerciales para validar la funcionalidad del sistema. El entorno UAT es diferente del entorno QA. El cierre de UAT implica que estamos listos para mover el código a producción.
lista doblemente enlazada c ++ insertar
Desde la perspectiva del sistema Data Warehouse y Business Intelligence, los usuarios empresariales pueden validar varios informes a través de una interfaz de usuario (UI). Pueden validar las especificaciones del informe contra los requisitos, pueden validar la exactitud de los datos en los informes, pueden validar la rapidez con la que el sistema devuelve los resultados, etc.
Diagrama de flujo de prueba DW:
Responsabilidades de prueba del almacén de datos
A continuación se enumeran los diversos equipos involucrados en la entrega de un sistema DW exitoso:
- Analistas de negocios: Reúna todos los requisitos comerciales del sistema y documente los que prefieran todos.
- Equipo de infraestructura: Configure varios entornos según sea necesario para desarrolladores y probadores.
- Desarrolladores: Desarrolle código ETL según los requisitos y realice pruebas unitarias.
- QA (control de calidad) / probadores: Desarrollar plan de prueba, casos de prueba, etc. Identifica defectos en el sistema ejecutando los casos de prueba. Realice varios niveles de prueba.
- DBA: Los DBA se encargan de convertir escenarios de bases de datos ETL lógicas en escenarios de bases de datos ETL físicos y también participan en las pruebas de rendimiento.
- Usuarios comerciales: Participe en las pruebas de aceptación del usuario, ejecute consultas e informes en tablas DW.
Errores en el almacén de datos
Cuando está extrayendo, transformando y cargando (ETL) datos de múltiples fuentes, existe la posibilidad de que obtenga datos incorrectos que pueden anular los trabajos de larga duración.
Las siguientes son las principales causas de falla en el sistema DW:
# 1) Violaciones de las reglas comerciales (errores lógicos): Los datos lógicamente incorrectos violan las reglas comerciales. Estos datos pueden manejarse principalmente durante las fases de transformación o carga.
# 2) Violaciones de las reglas de datos (errores de datos): Los errores de datos ocurren dentro del sistema de base de datos DW, como desajustes de tipos de datos, fallas de restricciones de datos, etc.
Implementación de ETL
Esta es la fase en la que todos sus esfuerzos se ponen en práctica. Se deben preparar todos los documentos de apoyo a la producción.
La documentación informará a otros sobre la secuencia de trabajos a ejecutar, escenarios de recuperación de fallas, materiales de capacitación para los equipos de soporte de DW para monitorear el sistema después de la implementación y para el equipo de soporte administrativo para ejecutar los informes.
Conclusión
Aprendimos sobre los objetivos de las pruebas de almacenamiento de datos, las responsabilidades de las pruebas de ETL, los errores en la implementación de DW y ETL en detalle en este tutorial.
Esperamos que tenga una idea de cómo se pueden realizar las pruebas detalladas en un sistema de almacenamiento de datos (ETL).
=> Visite aquí para aprender el almacenamiento de datos desde cero.
Lectura recomendada
- Tutorial de pruebas de almacenamiento de datos de pruebas ETL (una guía completa)
- Tutorial de prueba de volumen: ejemplos y herramientas de prueba de volumen
- Preguntas y respuestas de la entrevista de prueba ETL
- Mejores herramientas de prueba de software 2021 (Herramientas de automatización de pruebas de control de calidad)
- Pruebas funcionales versus pruebas no funcionales
- Tutorial de pruebas por pares o pruebas de todos los pares con herramientas y ejemplos
- Las 10 mejores herramientas de prueba de ETL en 2021
- Cómo realizar pruebas basadas en datos en SoapUI Pro - Tutorial de SoapUI n. ° 14