how perform post release testing effectively
Cuando comencé mi carrera como QA, estaba trabajando con una empresa que ofrecía sus productos como SaaS. Los lanzamientos de producción eran críticos y existía la posibilidad de afectar la funcionalidad de los clientes activos.
A medida que nuestra base de clientes crecía, para gestionar el riesgo y minimizar el impacto de la publicación en los clientes activos, el equipo de QA adoptó la práctica de prueba posterior al lanzamiento.
Todo esto era nuevo para mí y tenía muchas preguntas y dudas en mi mente:
- ¿Qué son las pruebas posteriores al lanzamiento?
- Probé todo correctamente, ¿por qué necesitamos hacer pruebas posteriores al lanzamiento?
- ¿Pruebo todo de nuevo? ¿Qué hago exactamente en la verificación posterior al lanzamiento?
- ¿Qué sucede si encuentro un problema? Etc.
Me complace admitir que encontré todas mis respuestas en mis primeros lanzamientos de producción.
Aquí estoy compartiendo ese conocimiento con todos ustedes. Elegí escribir el artículo en un formato de preguntas y respuestas para mostrarte la forma en que descubrí las respuestas.
Lo que vas a aprender:
- ¿Qué es la verificación de versiones de posproducción?
- ¿Qué tareas y actividades se incluyen en la fase de verificación posterior a la liberación?
- ¿Necesito probar todo de nuevo?
- ¿Cómo formulo la estrategia de verificación de versiones de posproducción?
- ¿Quién crea el plan de prueba de lanzamiento de posproducción?
- ¿Quién aprueba el plan de prueba de lanzamiento de posproducción?
- ¿Cuándo creo el plan de verificación de la versión de posproducción?
- Completé la verificación de la versión de posproducción. ¿Que sigue?
- ¿Qué sucede si encuentro un problema?
- ¿Qué más necesito saber sobre el proceso de verificación de versiones de posproducción?
- Conclusión:
- Lectura recomendada
¿Qué es la verificación de versiones de posproducción?
Por definición, Correo medio Después , Lanzamiento de la producción se refiere a la implementación a entornos LIVE / producción y Verificación incluye asegurándose de que las funciones publicadas cumplan con los requisitos .
Lectura recomendada=> Cómo preparar eficazmente el 'entorno de prueba' antes de comenzar a realizar la prueba
El objetivo es verificar el lanzamiento en entornos de producción / LIVE.
preguntas y respuestas de la entrevista de administrador de salesforce pdf
Pero luego surgen las preguntas:
- ¿Por qué necesitamos hacer pruebas de lanzamiento de posproducción cuando probé todo en un entorno de control de calidad?
- ¿Por qué prevemos que se producirán problemas en la producción aunque probamos la versión a fondo en un entorno de prueba?
Hay muchas razones por las que tendríamos problemas en la producción aunque hayamos seguido el Proceso de aseguramiento de la calidad (es decir. planificación de pruebas , revisión del plan de prueba, ciclo de prueba, pruebas de regresión etc.)
Razones por las que tendríamos problemas de producción:
1) Problema de datos - Los datos disponibles sobre entornos de prueba y producción pueden variar. Esto puede hacer que se pierdan algunos problemas de casos de esquina en los entornos de prueba.
2) Problema de implementación - Si su empresa tiene un proceso de implementación de compilación manual, su versión puede ser más propensa a problemas de implementación. Algunos escenarios comunes pueden ser configuraciones faltantes o configuraciones del sitio, scripts de base de datos faltantes, orden de implementación no seguido (primero el código, luego la base de datos, etc.), dependencias instaladas incorrectamente, etc.
También leer=> Lo que debe saber el evaluador de control de calidad sobre el proceso de implementación
3) Áreas de impacto no identificadas - Puede haber algunos escenarios en los que el equipo no haya identificado correcta y completamente las áreas impactadas.
Por ejemplo, considere un SaaS ambiente.
Si el equipo no identificó el impacto de una tabla de base de datos refactorizada en un cliente que usa un esquema de tabla anterior (por ejemplo, pérdida de datos, necesidad de migración de datos antes del lanzamiento, etc.), etc. Es menos probable que este problema ocurra en proyectos bien planificados con requisitos precisos. Pero la posibilidad aún existe.
4) Áreas de impacto desconocidas - Esto puede ocurrir si se desconocen el alcance y las áreas afectadas del lanzamiento. Por ejemplo, en una empresa con varios productos de software que comparten una arquitectura y una base de datos comunes, incluso un pequeño cambio puede romper la funcionalidad de muchos productos.
¿Qué tareas y actividades se incluyen en la fase de verificación posterior a la liberación?
Las tareas y actividades de lanzamiento de posproducción generalmente incluyen:
- Verificación de lanzamiento posterior a la producción
- Informar los resultados de la verificación
- Informar cualquier problema encontrado en producción
- Limpieza de datos de verificación posterior a la liberación
- Monitoreo posterior a la liberación (si corresponde)
¿Necesito probar todo de nuevo?
No necesariamente. Esto depende de la construcción que se lanzará y del análisis de impacto.
Se deben realizar pruebas detalladas durante el ciclo regular de control de calidad. La verificación posterior al lanzamiento debe realizarse siguiendo un plan de prueba de verificación de lanzamiento posterior a la producción que debe ser un derivado del Plan de prueba completo para ese lanzamiento.
¿Cómo formulo la estrategia de verificación de versiones de posproducción?
La planificación de la verificación de la versión posterior a la producción debe realizarse de forma similar a la planificación de la prueba habitual.
La estrategia debe estar en las mismas líneas que el flujo de prueba seguido durante el ciclo de garantía de calidad. Es importante incluir los pasos más importantes y críticos que permitan la máxima cobertura de funcionalidad.
¿Cuál es la máscara de subred para una dirección IP de clase b?
Una buena estrategia de lanzamiento de posproducción debería:
- Incluya pasos para probar nuevas funciones, así como las principales funciones existentes.
- Verificar áreas de mayor impacto
- Permitir la máxima cobertura de funcionalidad
- Opcional: incluya cualquier error crítico que se haya encontrado en el entorno de prueba
- Opcional: Incluya la prioridad de los casos de prueba.
¿Quién crea el plan de prueba de lanzamiento de posproducción?
Esto variará entre empresas y dependerá de la estructura de la organización.
Tomemos un ejemplo de la siguiente organización del equipo de control de calidad.
En este escenario, QA que trabaja en el proyecto específico formulará el plan de prueba de lanzamiento de posproducción inicial.
¿Quién aprueba el plan de prueba de lanzamiento de posproducción?
Esto variará entre empresas y dependerá de la estructura de la organización.
Una vez más, considerando la misma estructura organizativa que se muestra en la pregunta anterior, el plan de prueba de lanzamiento de posproducción debe ser revisado y aprobado por el jefe de pruebas o el director de control de calidad .
¿Cuándo creo el plan de verificación de la versión de posproducción?
El plan de prueba de lanzamiento de posproducción se puede crear en cualquier momento durante el ciclo de desarrollo del software después de que se identifiquen y bloqueen los requisitos, el alcance del desarrollo y las áreas de impacto. Por lo general, es más fácil para el control de calidad crear el plan de prueba de lanzamiento de posproducción a la mitad del sprint. Eso asegura que haya suficiente tiempo para revisión y aprobación.
Es una buena práctica incluir este plan de prueba junto con cualquier documentos formales de aprobación de garantía de calidad antes de que el proyecto entre en la fase de implementación y lanzamiento.
Completé la verificación de la versión de posproducción. ¿Que sigue?
Una vez completada la verificación posterior a la liberación, los siguientes pasos serían
1) Comunicación de los resultados de la verificación - Los resultados de la verificación deben comunicarse a las partes interesadas, incluido cualquier problema que pueda haberse encontrado en la producción.
2) Informar cualquier problema encontrado en la producción en la herramienta de gestión de defectos - A facilitar el análisis de la causa raíz y trazabilidad .
3) Limpieza de datos de verificación posterior a la liberación - La limpieza de datos debe realizarse después de que se complete la verificación.
Por ejemplo, considere un lanzamiento para una aplicación de comercio electrónico y digamos que creó una orden de prueba en producción. Esta orden de prueba debe cancelarse después de que se complete la verificación.
4) Monitoreo de liberación posterior a la producción (si corresponde) - Algunas versiones requieren un seguimiento de la producción.
Por ejemplo, si el equipo realizó mejoras para mejorar los tiempos de carga de la página en la Aplicación, esto debería ser monitoreado durante un período de tiempo para garantizar que la mejora se haya visto realmente después del lanzamiento. La (s) persona (s) responsable (s) del monitoreo deben estar claramente identificadas y comunicadas.
¿Qué sucede si encuentro un problema?
Cualquier problema debe informarse en el Herramienta de gestión de defectos y comunicado a las partes interesadas. Si se encuentra algún problema crítico en la producción, la comunicación de los resultados debe ocurrir de inmediato, ya que se debe tomar una decisión si es necesario revertir la compilación para investigar el problema más a fondo.
Es importante que todos los problemas encontrados se informen en la herramienta de seguimiento de defectos. Se recomienda que estos se planteen como un tipo de problema separado (por ejemplo, error de posproducción) para mostrar la separación de los errores del ciclo de control de calidad regular. Estos problemas se pueden filtrar fácilmente si es necesario para el análisis de la causa raíz.
¿Qué más necesito saber sobre el proceso de verificación de versiones de posproducción?
Además del proceso, el plan y la estrategia de verificación de la versión de posproducción, a continuación se presentan algunos consejos:
- Es importante establecer expectativas claras con respecto al alcance y el propósito de la verificación posterior al lanzamiento. Las partes interesadas (internas y externas) deben ser conscientes de lo siguiente
- El equipo no puede probar todo en producción
- El equipo no puede exprimir días de pruebas en unas pocas horas reservadas para la verificación posterior al lanzamiento.
Por lo tanto, las pruebas de producción se basarían esencialmente en un plan de pruebas de lanzamiento de postproducción aprobado.
Limitaciones:
Se debe tener el debido cuidado mientras se decide el alcance de las pruebas de lanzamiento de posproducción. Existen limitaciones sobre qué y cuánto podemos probar en producción. El entorno de producción tiene datos del cliente en vivo y debe manejarse con mucho cuidado. Se debe realizar una planificación adicional para los cambios que involucran la migración de datos, actualización, eliminación, etc.
Ejemplo 1): Para una empresa de eSurvey, si la prueba implica responder y enviar la encuesta, QA necesitaría enviar una solicitud para eliminar la encuesta de prueba después de la verificación para no afectar los datos de recopilación de encuestas del cliente y sus estadísticas.
ES ejemplo # 2): Para una empresa de comercio electrónico, supongamos que un trabajo SQL de actualización de precios se ejecuta a medianoche todos los días y carga el precio finalizado en el sitio web. No podemos ejecutar este SQL bajo demanda, varias veces con el propósito de la verificación posterior al lanzamiento, ya que esto puede hacer que los datos no finalizados se envíen a producción.
Además, puede aumentar las posibilidades de Puntos muertos de DB y un alto consumo de recursos de memoria y CPU durante las horas pico de trabajo, lo que puede afectar el rendimiento de la aplicación cliente.
- El esfuerzo requerido para las pruebas posteriores al lanzamiento y todas las actividades relacionadas deben incorporarse e incluirse en el Plan del Proyecto. Dependiendo de las reglas comerciales y las especificaciones del proyecto, esto puede considerarse como gastos generales del proyecto o incluirse en el ciclo de control de calidad o incluirse como parte del plan de gestión de versiones.
- Para los problemas que se informan durante la verificación posterior al lanzamiento, se debe realizar un análisis de la causa raíz para averiguar la razón por la cual el problema no se detectó temprano y qué se puede hacer mejor la próxima vez para evitar enfrentar el problema. El análisis de la causa raíz puede ayudar al equipo a aprender de estos problemas pasados y llenar cualquier brecha en la implementación. Según la estructura de la organización, el jefe de pruebas o el gerente de control de calidad pueden completar el análisis de la causa raíz con la información del equipo del proyecto. Algunas causas raíz comunes pueden ser un problema de codificación, un problema de requisitos, un problema de diseño, un problema de datos, limitaciones de terceros, un escenario de prueba faltante, etc. Se pueden crear y realizar un seguimiento de las acciones correctivas y preventivas correspondientes.
- Registros del servidor también se puede usar para monitorear la construcción después del lanzamiento. Registro del servidor puede contener eventos o problemas que pueden no ser visibles para el cliente pero que causarán problemas en el backend. Esta supervisión se puede asignar como un elemento de acción al líder de desarrollo y al equipo de DevOps.
Un ejemplo:
Descripción del proyecto:
Los siguientes cambios deben realizarse en una aplicación de redes sociales, específicamente en el proceso de registro.
- Es necesario eliminar la validación del campo de apellido. Se implementó anteriormente como 'El apellido debe tener un mínimo de 4 caracteres' (mejora para el campo existente)
- Implementar el botón de alternancia junto a la dirección de correo electrónico para que el usuario pueda establecer la configuración de privacidad para que la dirección de correo electrónico se muestre en su perfil (solicitud de nueva función)
- El usuario debe poder elegir su avatar (solicitud de nueva función)
- Reducir las llamadas a la API durante el proceso de registro para mejorar el rendimiento de la aplicación (mejora)
Plan de verificación de lanzamiento posterior a la producción:
S.No. | Descripción | Resultado Esperado | Estado | Comentarios |
---|---|---|---|---|
1 | Ir a Livesiteurl | La página de inicio del sitio web debería cargarse correctamente | Pasar | |
2 | Haga clic en Registrarse como nuevo usuario | El usuario debe ser redirigido a la página de registro / registro. | Pasar | |
3 | Complete los campos obligatorios y haga clic en el botón Registrarse Nota: -Introduzca el apellido como 'Lee' -Activar el botón de privacidad para No mostrar -Cosas en Avatar | -El usuario debe ser redirigido a su página de perfil después de un registro exitoso. -No se debe mostrar el número de teléfono del usuario -El avatar seleccionado por el usuario debe aparecer | Pase parcial | Avatar no se representa correctamente y se muestra como una imagen rota. Reportado en JIRA como BUG-1088 |
4 | Supervisión: verifique si el rendimiento de la aplicación ha mejorado después de esta versión. | La reducción de las llamadas a la API durante el proceso de registro debería mejorar el rendimiento de la aplicación | En curso | La acción está en el equipo Dev Lead y Dev Ops para monitorear la aplicación durante 24 horas |
5 | Limpieza posterior al lanzamiento | Eliminar la cuenta de prueba creada | Hecho |
Conclusión:
Con la mayoría de las empresas de software ahora adoptando la metodología Agile , el número de lanzamientos de producción ha aumentado.
Por ejemplo, durante el uso Modelo de cascada , un equipo puede tener una versión de producción cada 1,5 meses; sin embargo, con el proceso Agile, el mismo equipo ahora puede tener una versión de producción cada 2-3 semanas.
Con cada lanzamiento de producción, tenemos la posibilidad de impactar, consciente o inconscientemente, la funcionalidad de los clientes en vivo. La adopción de la verificación de publicación de posproducción inmediatamente después de la publicación puede brindar confianza adicional en la publicación al mismo tiempo que proporciona la red de seguridad para revertir la publicación antes de que nuestros clientes en vivo se encuentren con algunos problemas.
Para proyectos de alto impacto / riesgo , el plan de verificación de versiones de posproducción se puede estructurar en función de la prioridad del escenario de prueba. La prueba de prioridad crítica se puede ejecutar primero y se puede enviar una comunicación a las partes interesadas sobre los resultados y cualquier problema. Si no se encuentran problemas críticos, la verificación de la versión de posproducción puede continuar; de lo contrario, se debe tomar la decisión de revertir para minimizar el tiempo de inactividad de la aplicación y el impacto en los clientes activos.
Adicionalmente, las pruebas de lanzamiento de posproducción se pueden automatizar y los scripts de prueba se pueden ejecutar a pedido después de cada lanzamiento como prueba de regresión. Nuevamente, se debe tener el debido cuidado al ejecutar los scripts de prueba automatizados en producción, ya que pueden afectar los datos y la funcionalidad del cliente en vivo.
La verificación de liberación de posproducción es la última línea de defensa para cualquier empresa de software. Si no detectamos los problemas, nuestros clientes lo harán y esto puede ser devastador para la reputación de cualquier empresa de software.
Para mantener la confiabilidad del producto, es esencial que verifiquemos los cambios implementados en producción inmediatamente después de la implementación.
convertidor de video de youtube a formato mp4
Sobre el Autor: Este útil artículo está escrito por Neha B. Actualmente trabaja como Gerente de Garantía de Calidad y se especializa en liderar y administrar equipos de control de calidad internos y externos.
Comparta su estrategia / consejos / experiencia de prueba de lanzamiento de posproducción con nuestros lectores.
Lectura recomendada
- Mejores herramientas de prueba de software 2021 (Herramientas de automatización de pruebas de control de calidad)
- Descarga del libro electrónico Testing Primer
- Implementación práctica de 7 pasos de pruebas manuales antes del lanzamiento de producción
- Pruebas de carga con tutoriales de HP LoadRunner
- Flujo de proceso de control de calidad de pruebas de software prácticas (requisitos para la publicación)
- Diferencia entre pruebas de escritorio, cliente-servidor y pruebas web
- ¿Qué es la prueba gamma? La etapa de prueba final
- ¿Qué es la prueba temprana: prueba temprana, prueba a menudo PERO cómo? (Una guía práctica)