Cómo realizar pruebas ETL con la herramienta Informatica PowerCenter

how perform etl testing using informatica powercenter tool

Es un hecho conocido que Prueba ETL es uno de los aspectos cruciales de cualquier Inteligencia de negocios Aplicación basada en (BI). Para obtener la garantía de calidad y la aceptación para entrar en funcionamiento en el negocio, la aplicación de BI debe probarse con mucha antelación.

El objetivo principal de las pruebas ETL es garantizar que el ES extraer, T transformar y L La funcionalidad de oad está funcionando según los requisitos comerciales y en sincronía con los estándares de desempeño.

Antes de profundizar en las pruebas ETL con Informatica , es fundamental saber qué son ETL e Informatica.

Lo que vas a aprender:

• Lo que aprenderá en este tutorial de ETL:
• Herramienta de prueba ETL de Informatica PowerCenter:
• Comprensión de las pruebas ETL específicas de Informatica:
• Clasificación de las pruebas ETL en Informatica:
• Beneficios de utilizar Informatica como herramienta ETL:
• Algunos consejos útiles para ayudarle en las pruebas ETL de Informatica:
• Conclusión:
• Lectura recomendada

Lo que aprenderá en este tutorial de ETL:

• Conceptos básicos de ETL, Informatica y pruebas ETL.
• Comprensión de las pruebas ETL específicas de Informatica.
• Clasificación de las pruebas ETL en Informatica.
• Ejemplos de casos de prueba para pruebas ETL de Informatica.
• Beneficios de utilizar Informatica como Herramienta ETL .
• Consejos y trucos para ayudarle en las pruebas.

En informática, Extraer, Transformar, Cargar (ETL) se refiere a un proceso en el uso de la base de datos y especialmente en el almacenamiento de datos que realiza:

• Extracción de datos - Extrae datos de fuentes de datos homogéneas o heterogéneas.
• Transformación de datos - Formatea los datos en el tipo requerido.
• Carga de datos - Mueva y almacene los datos en una ubicación permanente para uso a largo plazo.

Herramienta de prueba ETL de Informatica PowerCenter:

Informatica PowerCenter es una potente herramienta ETL de Informatica Corporation. Es una plataforma de integración de datos empresariales única y unificada para acceder, descubrir e integrar datos de prácticamente cualquier sistema empresarial, en cualquier

Es una plataforma de integración de datos empresariales única y unificada para acceder, descubrir e integrar datos de prácticamente cualquier sistema empresarial, en cualquier formato y entregar esos datos en toda la empresa a cualquier velocidad. A través de Informatica PowerCenter , creamos flujos de trabajo que realizan operaciones ETL de extremo a extremo.

Descargue e instale Informatica PowerCenter:

Para instalar y configurar Informatica PowerCenter 9.x, utilice el siguiente enlace que tiene instrucciones paso a paso:
=> Guía de instalación y configuración de Informatica PowerCenter 9

Comprensión de las pruebas ETL específicas de Informatica:

Los probadores de ETL a menudo tienen preguntas pertinentes sobre qué probar en Informatica y cuánta cobertura de prueba se necesita.

Permítame explicarle cómo realizar pruebas ETL específicas para Informatica.

Los principales aspectos que deben cubrirse esencialmente en las pruebas ETL de Informatica son:

• Probar la funcionalidad del flujo de trabajo de Informatica y sus componentes; todas las transformaciones utilizadas en las asignaciones subyacentes.
• Para verificar la integridad de los datos (es decir, asegurarse de que los datos proyectados se carguen en el destino sin truncamiento ni pérdida de datos),
• Verificar si los datos se cargan en el objetivo dentro de los límites de tiempo estimados (es decir, evaluar el rendimiento del flujo de trabajo),
• Asegurarse de que el flujo de trabajo no permita que se carguen datos no válidos o no deseados en el destino.

Clasificación de las pruebas ETL en Informatica:

Para una mejor comprensión y facilidad del evaluador, las pruebas ETL en Informatica se pueden dividir en dos partes principales:

que es una llave de seguridad wifi

# 1) Pruebas de alto nivel
# 2) Prueba detallada

En primer lugar, en las pruebas de alto nivel:

• Puede comprobar si el flujo de trabajo de Informatica y los objetos relacionados son válidos o no.
• Verifique si el flujo de trabajo se completa con éxito en la ejecución.
• Confirme si todas las sesiones / tareas necesarias se están ejecutando en el flujo de trabajo.
• Valide si los datos se están cargando en el directorio de destino deseado y con el nombre de archivo esperado (en caso de que el flujo de trabajo esté creando un archivo), etc.

En pocas palabras, puede decir que las pruebas de alto nivel incluyen todas las comprobaciones básicas de cordura.

Pasando a la siguiente parte, es decir pruebas detalladas en Informatica , profundizará para validar si la lógica implementada en Informatica está funcionando como se esperaba en términos de sus resultados y rendimiento.

• Debe realizar las validaciones de los datos de salida a nivel de campo, lo que confirmará que cada transformación está funcionando bien
• Verifique si el registro cuenta en cada nivel de procesamiento y finalmente si el objetivo es el esperado.
• Supervise minuciosamente elementos como el calificador de origen y el destino en las estadísticas de origen / destino de la sesión
• Asegúrese de que la duración de ejecución del flujo de trabajo de Informatica coincida con el tiempo de ejecución estimado.

En resumen, podemos decir que las pruebas detalladas incluyen una rigurosa validación de extremo a extremo del flujo de trabajo de Informatica y el flujo de datos relacionado.

Tomemos un ejemplo aquí:

Tenemos un archivo plano que contiene datos sobre diferentes productos. Almacena detalles como el nombre del producto, su descripción, categoría, fecha de caducidad, precio, etc.

Mi requisito es obtener cada registro de producto del archivo, generar una identificación de producto única correspondiente a cada registro y cargarlo en la tabla de la base de datos de destino. También necesito suprimir aquellos productos que pertenecen a la categoría 'C' o cuya fecha de caducidad es menor que la fecha actual.

Digamos, mi archivo plano (fuente) se ve así:

(Nota:Haga clic en cualquier imagen para ampliarla)

Según mis requisitos establecidos anteriormente, la tabla de mi base de datos (Target) debería verse así:

Nombre de la tabla: Tbl_Product

Ahora, digamos, hemos desarrollado un flujo de trabajo de Informatica para obtener la solución para mis requisitos de ETL.

El mapeo subyacente de Informatica leerá los datos del archivo plano, pasará los datos a través de una transformación de enrutador que descartará las filas que tengan la categoría de producto como 'C' o la fecha de vencimiento, luego usaré una secuencia de generación para crear la clave primaria única valores para la columna Prod_ID en la tabla de productos.

Finalmente, los registros se cargarán en la tabla Producto, que es el destino de mi mapeo de Informatica.

Ejemplos:

A continuación se muestran los casos de prueba de muestra para el escenario explicado anteriormente.

Puede utilizar estos casos de prueba como plantilla en su proyecto de prueba de Informatica y agregar / eliminar casos de prueba similares según la funcionalidad de su flujo de trabajo.

# 1) Identificación del caso de prueba: T001

Propósito del caso de prueba: Validar flujo de trabajo: (workflow_name)

Procedimiento de prueba:

• Ir al administrador de flujo de trabajo
• Flujo de trabajo abierto
• Menú de flujos de trabajo-> haga clic en validar

Valor de entrada / datos de prueba: Las fuentes y los destinos están disponibles y conectados
Fuentes: (nombre de todas las instancias de origen)
Asignaciones: (nombre de todas las asignaciones)
Destinos: (nombre de todas las instancias de destino)
Sesión: (nombre de todas las sesiones)

Resultados previstos: Mensaje en la barra de estado del administrador de flujo de trabajo: 'El flujo de trabajo (workflow_name) es válido'

Resultados actuales: Mensaje en la barra de estado del administrador de flujo de trabajo: 'El flujo de trabajo (workflow_name) es válido'

Observaciones:Pasar

Comentarios del probador:

# 2) Identificación del caso de prueba: T002

Propósito del caso de prueba: Para asegurarse de que el flujo de trabajo se esté ejecutando correctamente

Procedimiento de prueba:

• Ir al administrador de flujo de trabajo
• Flujo de trabajo abierto
• Haga clic derecho en el diseñador de flujo de trabajo y seleccione Iniciar flujo de trabajo
• Verificar el estado en Workflow Monitor

Valor de entrada / datos de prueba: Igual que los datos de prueba para T001

Resultados previstos: Mensaje en la ventana de salida en el Administrador de flujo de trabajo: Actualización de tareas: (nombre_flujo_trabajo) (completado con éxito)

Resultados actuales: Mensaje en la ventana de salida en el Administrador de flujo de trabajo: Actualización de tareas: (nombre_flujo_trabajo) (completado con éxito)

Observaciones:Pasar

Comentarios del probador: Flujo de trabajo exitoso

Nota: Puede ver fácilmente el estado de ejecución del flujo de trabajo (fallido / exitoso) en el monitor de flujo de trabajo como se muestra en el siguiente ejemplo. Una vez que se complete el flujo de trabajo, el estado se reflejará automáticamente en el monitor de flujo de trabajo.

En la captura de pantalla anterior, puede ver la hora de inicio y la hora de finalización del flujo de trabajo, así como el estado correcto.

# 3) Identificación del caso de prueba: T003

Propósito del caso de prueba: Para validar si el número deseado de registros se está cargando en el objetivo

Procedimiento de prueba: Una vez que el flujo de trabajo se haya ejecutado correctamente, vaya a la tabla de destino en la base de datos
Verifique el número de filas en la tabla de la base de datos de destino

Valor de entrada / datos de prueba: 5 filas en el archivo fuente
Destino: tabla de base de datos - (Tbl_Product)
Consulta para ejecutar en el servidor SQL: Seleccione el recuento (1) de (Tbl_Product)

Resultados previstos: 3 filas seleccionadas

Resultados actuales: 3 filas seleccionadas

Observaciones:Pasar

Comentarios del probador:

agregar un valor a una matriz

# 4) Identificación del caso de prueba: T004

Propósito del caso de prueba: Para comprobar si el generador de secuencias en el mapeo de Informatica funciona bien para completar (nombre_columna_clave_primaria, p. Ej. Columna Prod_ID)

Procedimiento de prueba: Una vez que el flujo de trabajo se haya ejecutado correctamente, vaya a la tabla de destino en la base de datos
Verifique la secuencia única generada en la columna Prod_ID

Valor de entrada / datos de prueba: valor de Prod_ID dejado en blanco para cada fila en el archivo fuente
Sequence Generator asignado a la columna Prod_ID en el mapeo
Valor de inicio del generador de secuencia establecido en 1001
Destino: tabla de base de datos- (Tbl_Product) abierta en SQL Server

Resultados previstos: Valor de 1001 a 1003 poblado en cada fila para la columna Prod_ID

Resultados actuales: Valor de 1001 a 1003 poblado en cada fila para la columna Prod_ID

Observaciones:Pasar

Comentarios del probador:

# 5) Identificación del caso de prueba: T005

uso del comando grep en unix

Propósito del caso de prueba: Para validar si la transformación del enrutador está funcionando bien para suprimir registros en caso de que la categoría de producto sea 'C' o el producto haya caducado.

Procedimiento de prueba: Una vez que el flujo de trabajo se haya ejecutado correctamente, vaya a la tabla de destino en la base de datos
Ejecute la consulta en la tabla de destino para comprobar si se han suprimido los registros deseados.

Valor de entrada / datos de prueba: 5 filas en el archivo fuente
Destino: tabla de base de datos - (Tbl_Product)
Consulta para ejecutar en el servidor SQL: Seleccione * de Producto donde Prod_category = 'C' o Prod_expiry_date< sysdate ;

Resultados previstos: no hay filas seleccionadas

Resultados actuales: no hay filas seleccionadas

Observaciones:Pasar

Comentarios del probador: (Si alguna)

# 6) Identificación del caso de prueba: T006

Propósito del caso de prueba: Para comprobar el rendimiento del flujo de trabajo registrando el tiempo de ejecución del flujo de trabajo.

Procedimiento de prueba:

• Abra el monitor de flujo de trabajo y realice la ejecución que se realizó como parte de T001.
• Registre la hora de inicio y la hora de finalización del flujo de trabajo.
• Calcule el tiempo de ejecución total restando la hora de inicio de la hora de finalización.

Valor de entrada / datos de prueba: El flujo de trabajo se ha ejecutado correctamente
Hora de inicio del flujo de trabajo en el monitor
Hora de finalización del flujo de trabajo en el monitor.

Resultados previstos: 2 min 30 secos

Resultados actuales: 2 min 15 secos

Observaciones:Pasar

Comentarios del probador: Considerar la prueba como 'Aprobada' en caso de que la duración real de la ejecución sea +/- 10% de la duración prevista.

# 7) Identificación del caso de prueba: T007

Propósito del caso de prueba: Validar datos a nivel de columna de la tabla de destino para garantizar que no se pierdan datos.

Procedimiento de prueba: Una vez que el flujo de trabajo se haya ejecutado correctamente, vaya a SQL Server.
Ejecute la consulta en la tabla de destino para verificar que no haya pérdida de datos.

Valor de entrada / datos de prueba: El flujo de trabajo se ha ejecutado correctamente
Un registro de muestra del archivo plano de origen.
Consulta SQL: Seleccione Top 1 * de Tbl_Patient;

Resultados previstos:
1 fila devuelta

Resultados actuales:
1 fila devuelta.

Observaciones:Pasar

Comentarios del probador: Considerar la prueba como 'Aprobada' en caso de que la duración real de la ejecución sea +/- 10% de la duración esperada.

Beneficios de utilizar Informatica como herramienta ETL:

Informatica es una herramienta ETL popular y exitosa porque:

• Tiene una alta tasa de éxito de 'puesta en marcha' (casi el 100%)
• Informatica tiene la capacidad de habilitar la integración ajustada.
• Es una herramienta de precio moderado en comparación con otras herramientas ETL.
• Viene con un programador de trabajos interno. Por lo tanto, no es necesario utilizar un programador de terceros por separado, como lo hacen otras herramientas ETL.
• La fácil formación y la disponibilidad de herramientas han hecho que Informatica sea más popular.

Algunos consejos útiles para ayudarle en las pruebas ETL de Informatica:

• Genere los datos de prueba antes de ejecutar los escenarios de prueba.
• Los datos de la prueba deben estar sincronizados con el caso de prueba para el que se utilizan.
• Asegúrese de haber cubierto los 3 escenarios: no se envían datos, se envían datos no válidos y se envían datos válidos como entrada al flujo de trabajo de Informatica.
• Asegúrese de probar que todos los datos requeridos se cargan en el objetivo por completo. Para ello, puede utilizar el caso de prueba - T003 descrito anteriormente como muestra.
• Es muy importante probar que el flujo de trabajo está realizando todas las transformaciones de datos correctamente según las reglas comerciales.
• Sugeriría que para cada transformación aplicada en su mapeo de Informatica, debe tener una lista de verificación para verificar los datos de salida. De esa manera, puede informar errores fácilmente si alguna transformación no funciona bien.

Conclusión:

Por lo tanto, hemos visto en detalle algunos de los casos de prueba de muestra que se pueden usar como plantilla para cubrir las pruebas ETL en Informatica. Como mencioné anteriormente, puede agregar / eliminar / modificar estos casos de prueba según el escenario que tenga en su proyecto.

Como mencioné anteriormente, puede agregar / eliminar / modificar estos casos de prueba según el escenario que tenga en su proyecto.

Informatica PowerCenter es la base para cualquier actividad de integración de datos.

Puede realizar fácilmente pruebas automatizadas sin secuencias de comandos de los datos copiados en el entorno de prueba, desarrollo o producción, y esa es la razón por la que PowerCenter es la herramienta ETL más popular en la actualidad.

Lectura recomendada => Pruebas ETL frente a DB: una mirada más detallada a la necesidad de pruebas ETL

Sobre el Autor: Este es un artículo invitado de Priya K. Tiene más de 4 años de experiencia práctica en el desarrollo y soporte de aplicaciones ETL de Informatica.

No dude en publicar sus consultas / comentarios sobre esta herramienta ETL.

Lectura recomendada

• Mejores herramientas de prueba de software 2021 (Herramientas de automatización de pruebas de control de calidad)
• Cómo realizar pruebas de backend
• Preguntas y respuestas de la entrevista de prueba ETL
• Tutorial de pruebas de almacenamiento de datos de pruebas ETL (una guía completa)
• Descarga del libro electrónico Testing Primer
• Pruebas ETL frente a DB: una mirada más detallada a la necesidad de pruebas ETL, planificación y herramientas ETL
• Prueba de carga con LoadUI: una herramienta de prueba de carga gratuita y de código abierto
• Las 10 mejores herramientas de prueba de ETL en 2021