Pruebas ETL frente a DB: una mirada más detallada a la necesidad de pruebas ETL, planificación y herramientas ETL

etl vs db testing closer look etl testing need

Las pruebas de software tienen una variedad de áreas para concentrarse. Las variedades principales son pruebas funcionales y no funcionales. La prueba funcional es la forma de procedimiento para garantizar que la funcionalidad desarrollada funcione como se espera. Las pruebas no funcionales son el enfoque mediante el cual se pueden garantizar los aspectos no funcionales como la mejora o el rendimiento a un nivel aceptable.

Hay otro tipo de prueba llamado Prueba de base de datos . Los datos se organizan en la base de datos en forma de tablas. Para los negocios, puede haber flujos donde los datos de las múltiples tablas se pueden combinar o procesar en una sola tabla y viceversa.

Pruebas ETL es otro tipo de prueba que se prefiere en el caso de negocios donde los clientes buscan un tipo de necesidad de informes. El reporte se busca con el fin de analizar las demandas, necesidades y la oferta para que clientes, empresas y usuarios finales estén muy bien atendidos y beneficiados.

¿Qué aprenderá en este tutorial?

En este tutorial, aprenderá qué es la prueba de base de datos, qué es la prueba de ETL, una diferencia entre la prueba de base de datos y la prueba de ETL, y más detalles sobre la necesidad, el proceso y la planificación de la prueba de ETL con ejemplos reales.

También hemos cubierto las pruebas ETL con más detalle en la página siguiente. Además, échale un vistazo.

=> Sugerencias y técnicas de prueba de ETL Testing / Data Warehouse

Lo que vas a aprender:

• Pruebas de base de datos frente a pruebas de ETL
  • Estudio comparativo de pruebas ETL y DB
  • ¿Por qué la empresa debería optar por ETL?
  • Planificación de pruebas ETL
  • Necesidades críticas de ETL
  • Problemas básicos en las pruebas ETL
  • Puntos para recordar durante la planificación y ejecución de pruebas ETL
  • Herramientas ETL y su uso significativo
  • Conclusión
  • Lectura recomendada

Pruebas de base de datos frente a pruebas de ETL

La mayoría de nosotros estamos un poco confundidos al considerar que tanto las pruebas de bases de datos como las de ETL son similares y lo mismo. El hecho es que son similares pero no iguales.

Prueba de base de datos:

Las pruebas de base de datos se utilizan generalmente de forma extensiva en los flujos de negocios donde hay múltiples flujos de datos que ocurren en la aplicación desde múltiples fuentes de datos en una sola tabla. La fuente de datos puede ser una tabla, un archivo plano, una aplicación o cualquier otra cosa que pueda generar algunos datos de salida.

A su vez, los datos de salida obtenidos todavía se pueden utilizar como entrada para el flujo comercial secuencial. Por lo tanto, cuando realizamos pruebas de base de datos, lo más importante que se debe capturar es la forma en que los datos pueden transformarse desde la fuente junto con la forma en que se guardan en la ubicación de destino.

La sincronización es un aspecto importante y esencial que debe tenerse en cuenta al realizar las pruebas de base de datos. Debido al posicionamiento de la aplicación en el flujo de arquitectura, puede haber algunos problemas con la sincronización de datos o DB. Por lo tanto, al realizar la prueba, esto debe tenerse en cuenta, ya que esto puede superar el potencial defectos inválidos o bichos.

Ejemplo 1:

El proyecto 'A' tiene una arquitectura integrada en la que la aplicación particular utiliza datos de varias otras fuentes de datos heterogéneas. Por lo tanto, la integridad de estos datos con la ubicación de destino debe realizarse junto con las validaciones para lo siguiente:

• Validación de clave externa primaria
• Integridad de los valores de columna
• Valores nulos para cualquier columna

¿Qué son las pruebas ETL?

ETL Testing es un tipo especial de prueba que el cliente desea que se realice para su pronóstico y análisis de su negocio. Esto se usa principalmente para fines de informes. Por ejemplo, si los clientes necesitan haber informado sobre los clientes que usan o buscan su producto en función del día que compran, deben hacer uso de los informes ETL.

Correo análisis y reportando , estos datos son almacenamiento de datos a un almacén de datos donde se deben mover los datos comerciales históricos antiguos.

cómo reproducir un archivo mkv en Windows

Se trata de una prueba de varios niveles, ya que los datos de la fuente se transforman en varios entornos antes de llegar a la ubicación de destino final.

Ejemplo # 2:

Consideraremos un grupo 'A' que realiza negocios de clientes minoristas a través de un mercado de compras donde el cliente puede comprar cualquier artículo del hogar necesario para su supervivencia diaria. Aquí, todos los clientes que visitan cuentan con una identificación de membresía única con la que pueden ganar puntos cada vez que vienen a comprar cosas en el mercado de compras.

El reglamento proporcionado por el grupo dice que los puntos ganados caducan cada año. Y dependiendo de su uso, la membresía se puede actualizar a un miembro de grado superior o degradar a un miembro de grado inferior en comparación con el grado actual.

Después de 5 años de establecimiento del mercado de compras, ahora la gerencia está buscando expandir su negocio junto con los ingresos.

Por lo tanto, necesitaban pocos informes comerciales para poder promocionar a sus clientes.

En Database Testing realizamos lo siguiente:

#1) Validaciones en las tablas de destino que se crean con columnas con cálculos lógicos como se describe en la hoja de mapeo lógico y el documento de enrutamiento de datos.

#2) Las manipulaciones como Insertar, Actualizar y Eliminar los datos del cliente se pueden realizar en cualquier aplicación POS del usuario final en un sistema integrado junto con la base de datos back-end para que los mismos cambios se reflejen en el sistema final.

#3) Las pruebas de base de datos deben garantizar que no haya datos del cliente que se hayan malinterpretado o incluso truncado. Esto puede dar lugar a problemas graves como la asignación incorrecta de los datos del cliente con su lealtad.

En ETL Testing, verificamos lo siguiente:

#1) Suponiendo que hay 100 clientes en la fuente, comprobará si todos estos clientes, junto con sus datos de las 100 filas, se han movido del sistema fuente al destino. Esto se conoce como verificación de Comprobación de la integridad de los datos.

#2) Verificar si los datos del cliente se han manipulado y demostrado correctamente en las 100 filas. Esto se llama simplemente verificación de Verificación de precisión de datos .

#3) Informes para los clientes que han ganado puntos con valores superiores a x en un período determinado.

Estudio comparativo de pruebas ETL y DB

Las pruebas de ETL y DB tienen algunos de los aspectos que difieren dentro de sí mismas y es más esencial comprenderlas antes de realizarlas. Esto nos ayuda a comprender los valores y la importancia de las pruebas y la forma en que ayudan al negocio.

A continuación se muestra un formulario tabular que describe el comportamiento básico de ambos formatos de prueba.

¿Por qué la empresa debería optar por ETL?

Hay muchas necesidades comerciales disponibles para que consideren las pruebas ETL. Cada negocio debe tener su misión y su línea de negocio únicas. Todo negocio tiene su ciclo de vida del producto que toma la forma genérica:

Es muy claro que cualquier producto nuevo ingresa al mercado con un tremendo crecimiento en las ventas y hasta una etapa llamada madurez y luego baja en las ventas. Este cambio gradual es testigo de una caída definitiva en el crecimiento empresarial. De ahí que sea más importante analizar las necesidades del cliente para el crecimiento del negocio y otros factores necesarios para que la organización sea más rentable.

Entonces, en realidad, los clientes quieren analizar los datos históricos y generar algunos informes estratégicamente.

Planificación de pruebas ETL

Uno de los pasos principales en las pruebas ETL es planificar la prueba que se va a ejecutar. Será similar al Plan de prueba para la prueba del sistema que generalmente se realiza excepto algunos atributos como requisitos y casos de prueba.

Aquí los requisitos no son más que un hoja de mapeo que tendrá una especie de mapeo entre datos dentro de diferentes bases de datos. Como sabemos que la prueba ETL se realiza en varios niveles, se necesitan varias asignaciones para validar esto.

La mayoría de las veces, los datos que se capturan de las bases de datos de origen no son directamente. Todos los datos de origen tendrán la vista de las tablas desde donde se pueden usar los datos.

Ejemplo: A continuación se muestra un ejemplo de cómo se pueden proporcionar las asignaciones. Las dos columnas VIEW_NAME y TABLE_NAME se pueden usar para representar las vistas para leer datos de la fuente y la tabla en el entorno ETL respectivamente.

Es recomendable mantener la convención de nomenclatura que puede ayudarnos a planificar la automatización. La notación genérica que se puede utilizar es simplemente anteponer el nombre del entorno.

Lo más importante en ETL es identificar los datos esenciales y las tablas de la fuente. El siguiente paso esencial es el mapeo de tablas desde la fuente al entorno ETL.

A continuación se muestra un ejemplo de cómo el mapeo entre las tablas de los diversos entornos puede relacionarse con el propósito de ETL.

pn para kodi

El mapeo anterior asume los datos de la tabla de origen a la tabla de preparación. Y de ahí en adelante a las tablas en EDW y luego a OLAP que es el entorno de presentación de informes final. Por lo tanto, en cualquier momento, la sincronización de datos es muy importante por el bien de ETL.

Necesidades críticas de ETL

Como entendemos, ETL es la necesidad de pronosticar, informar y analizar el negocio para capturar las necesidades del cliente de una manera más sucesiva. Esto permitirá que la empresa tenga mayores demandas que en el pasado.

Estas son algunas de las necesidades críticas sin las cuales no se pueden lograr las pruebas ETL:

1. Identificación de datos y tablas : Esto es importante ya que puede haber muchos otros datos irrelevantes e innecesarios que pueden ser de menor importancia a la hora de pronosticar y analizar las necesidades del cliente. Por lo tanto, los datos relevantes y las tablas deben seleccionarse antes de iniciar los trabajos de ETL.
2. Hoja de mapeo : Esta es una de las necesidades críticas al realizar trabajos ETL. El mapeo de la tabla correcta desde el origen al destino es obligatorio y cualquier problema o datos incorrectos en esta hoja pueden afectar a todo el entregable ETL.
3. Diseños y datos de tablas, tipo de columna : Este es el siguiente paso importante al considerar la asignación de tablas de origen a las tablas de destino. El tipo de columna debe coincidir con las tablas en ambos lugares, etc.
4. Acceso a la base de datos : Lo principal es el acceso a la base de datos donde se encuentra ETL. Cualquier restricción en el acceso tendrá un impacto equivalente.

Informes y pruebas ETL

La presentación de informes en ETL es más importante ya que explica y dirige a los clientes las necesidades del cliente. De esta manera, pueden pronosticar y analizar las necesidades exactas del cliente.

Ejemplo # 3:

Una empresa que fabrica tejidos de seda quería analizar sus ventas anuales. Al revisar sus ventas anuales, encontraron que durante el mes de agosto y septiembre hubo una tremenda caída en las ventas con el uso del informe que generaron.

De ahí que decidieron desplegar la oferta promocional como canje, descuentos, etc., que potenciaron sus ventas.

Problemas básicos en las pruebas ETL

Puede haber una serie de problemas al realizar pruebas ETL como las siguientes:

• O el acceso a las tablas fuente o las vistas no será válido.
• Es posible que el nombre de la columna y el tipo de datos del origen a la siguiente capa no coincidan.
• Es posible que varios registros de la tabla de origen a la tabla de destino no coincidan.

Y puede que haya mucho más.

A continuación, se muestra una muestra de la hoja de mapeo donde hay columnas como VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE y TRANSFORMATION LOGIC presentes.

Las primeras 3 columnas representan los detalles de la base de datos de origen y las siguientes 3 son los detalles de la base de datos anterior inmediata. La última columna es muy importante. La lógica de transformación es la forma en que los datos de la fuente se leen y almacenan en la base de datos destinada. Esto depende de las necesidades comerciales y ETL.

Puntos para recordar durante la planificación y ejecución de pruebas ETL

Lo más importante en las pruebas ETL es la carga de datos en función de los criterios de extracción de la base de datos de origen. Cuando este criterio no es válido u obsoleto, no habrá datos en la tabla para realizar las pruebas ETL que realmente traen más problemas.

Los siguientes son algunos de los puntos que se deben tener en cuenta durante la planificación y ejecución de pruebas ETL:

#1) Los datos se extraen de fuentes de datos heterogéneas
#2) Manejo de procesos ETL en el entorno integrado que tienen diferentes:

• DBMS
• USTED
• Hardware
• Protocolos de comunicación

#3) Necesidad de tener una hoja de mapeo de datos lógicos antes de que los datos físicos puedan transformarse
#4) Comprensión y examen de las fuentes de datos.
#5) Carga inicial y carga incremental
#6) Columnas de auditoría
#7) Cargando los hechos y las dimensiones

Herramientas ETL y su uso significativo

Las herramientas ETL se utilizan básicamente para crear y convertir lógica de transformación tomando datos de la fuente a otra aplicando la lógica de transformación. También puede mapear los esquemas desde el origen al destino, lo que ocurre de manera única, transformar y limpiar los datos antes de que se puedan mover al destino, junto con la carga en el destino de una manera eficiente.

Esto puede reducir significativamente los esfuerzos manuales, ya que se puede realizar el mapeo que se utiliza para casi toda la validación y verificación ETL.

Herramientas ETL :

1. Informática - PowerCenter - es una de las herramientas ETL más populares que introduce Informatica Corporation. Esto tiene una base de clientes muy buena que cubre áreas amplias. Los componentes principales de la herramienta son sus herramientas para los clientes y las herramientas de repositorio y los servidores. Para saber más sobre la herramienta, haga clic en Aquí
2. IBM - Servidor de información Infosphere – IBM, que es el líder del mercado en términos de tecnología informática, ha desarrollado el servidor de información Infosphere que se utiliza para la integración y gestión de la información en el año 2008. Para saber más sobre la herramienta, haga clic en Aquí
3. Oracle - Integrador de datos - Oracle Corporation ha desarrollado su herramienta ETL a nombre de Oracle - Data Integrator. Su creciente soporte al cliente les ha hecho actualizar sus herramientas ETL en varias versiones. Para saber más sobre la herramienta, haga clic en Aquí

Más ejemplos del uso de pruebas ETL:

Considerando algunas Aerolíneas que desean implementar promociones y ofertas para atraer a los clientes estratégicamente. En primer lugar, intentarán comprender las demandas y necesidades de las especificaciones del cliente. Para lograr esto, necesitarán los datos históricos, preferiblemente los datos de los 2 años anteriores. Con los datos, analizarán y prepararán algunos informes que serán útiles para comprender las necesidades de los clientes.

Los informes pueden ser del siguiente tipo:

1. Clientes de la región A que viajan a la región B en determinadas fechas
2. Clientes con criterio de edad específico viajan a la ciudad XX

Y puede haber muchos otros informes.

jugar wow para servidor privado gratuito

El análisis de estos informes ayudará a los clientes a identificar el tipo de promociones y ofertas que beneficiarán a los clientes y, al mismo tiempo, pueden beneficiar a las empresas donde esto puede convertirse en una situación en la que todos ganan. Esto se puede lograr fácilmente mediante pruebas e informes ETL.

Paralelamente, el segmento de TI enfrenta un problema serio de DB que se ha notado que ha detenido múltiples servicios, a su vez, tiene el potencial de causar impactos en el negocio. En la investigación, se identificó que algunos datos no válidos han dañado algunas bases de datos que debían corregirse manualmente.

En el primer caso, se requerirán informes y pruebas ETL.

Mientras que el último caso es donde la prueba de la base de datos debe realizarse correctamente para superar problemas con datos no válidos.

Conclusión

Espero que el tutorial anterior haya proporcionado una descripción general simple y clara de qué son las pruebas ETL y por qué deben realizarse junto con los impactos o beneficios comerciales que producen. Esto no se detiene aquí, pero puede extenderse para establecer la previsión en el crecimiento de los negocios.

Sobre el Autor: Este tutorial está escrito por Nagarajan. Es un líder de pruebas con más de 6 años de experiencia en pruebas de software en varias áreas funcionales como banca, aerolíneas y telecomunicaciones en términos de automatización y manual.

Háganos saber sus pensamientos / preguntas en los comentarios a continuación.

Lectura recomendada

• Preguntas y respuestas de la entrevista de prueba ETL
• Tutorial de pruebas de almacenamiento de datos de pruebas ETL (una guía completa)
• Las 10 mejores herramientas de prueba de ETL en 2021
• Cómo realizar pruebas ETL con la herramienta Informatica PowerCenter
• 31 preguntas y respuestas principales de la entrevista sobre pruebas de bases de datos
• Más de 40 mejores herramientas de prueba de bases de datos: soluciones de prueba de datos populares
• Guía completa de pruebas de bases de datos (por qué, qué y cómo probar datos)
• Prueba de la base de datos de selenio (utilizando WebDriver y la API de JDBC)