Menú

8 indicadores clave de rendimiento para las versiones de calidad (revisión de Panaya Test Dynamix)

8 key performance indicators

Pruebe Nuestro Instrumento Para Eliminar Los Problemas

Este artículo explica 8 indicadores clave de rendimiento para lanzamientos de calidad con la ayuda de la solución de prueba de extremo a extremo Panaya Test Dynamix:

No es ningún secreto que los gerentes de calidad del software se enfrentan a una presión cada vez mayor para ofrecer software de alta calidad a una velocidad récord.

La pregunta que todos nos hacemos a menudo es: '¿cómo medimos nuestro éxito' en términos de calidad del software?

La velocidad de comercialización es un cálculo mucho más simple, pero medir nuestro desempeño en la entrega de software de alta calidad depende de una multitud de factores, como la metodología del proyecto (cascada, híbrido, ágil), la complejidad del software, el nivel de técnica. deuda involucrada, la cantidad de interfaces y mucho más.

En pocas palabras, el número de variables que juega en un nivel aceptable de defectos de alta gravedad no debe subestimarse. Por lo tanto, para sobrevivir en este mercado, debemos evolucionar continuamente, tanto en nuestras opiniones como en nuestras varas de medir.

Esa es la razón por la que desarrollé esta lista de los 8 principales KPI que debe agregar a su Tarjeta de puntuación de calidad y comenzar a realizar un seguimiento para mitigar el riesgo de publicación, mejorar la calidad y medir su éxito de inmediato.

Indicadores clave de rendimiento

Lo que vas a aprender:

Indicadores clave de rendimiento para las versiones de calidad

# 1) Efectividad de detección de defectos (DDE, también conocido como porcentaje de detección de defectos)

Esta es una medida de tu prueba de regresión general eficacia. Se calcula como una proporción de defectos encontrados antes y después del lanzamiento por sus clientes.

Los defectos encontrados después de su liberación se conocen normalmente como 'Incidentes' y se registran en un sistema de mesa de ayuda, mientras que los defectos encontrados durante las fases de prueba ( P.ej. , Unidad, Sistema, Regresión o UAT) se identifican antes de la publicación y se documentan con herramientas como Prueba de Panaya Dynamix .

Para calcular este KPI correctamente, siempre debe categorizar la versión de software en la que se identificó cada defecto, antes de su lanzamiento a su entorno de producción.

para que sirve c ++

La fórmula que se usa a menudo para DDE:

Número de defectos identificados en la versión del software Lanzamiento /

Número de defectos en la versión del software + defectos escapados identificados por los usuarios finales (P.ej., Incidentes)

Aquí hay una ilustración simple:

Suponga que se encontraron 95 defectos durante su ciclo de prueba de regresión en ese último SAP Service Pack mensual y que se registraron 25 defectos después del lanzamiento. El DDE se calcularía como 95 dividido por (95 + 25) = 79%.

Tenga en cuenta que el DDE debe monitorearse con un gráfico de líneas que comienza al 100% el día después de su lanzamiento a producción. Y a medida que sus clientes y usuarios finales internos comiencen a trabajar con su último paquete de servicios de SAP como ejemplo, inevitablemente registrarán algunos incidentes.

Según mi experiencia, se produce un 'frenesí' durante la primera semana 2 días después de que un Service Pack llega al entorno productivo. Ahí es cuando notará una caída rápida del 100% a aproximadamente el 95% a medida que se registran los incidentes. Si su empresa tiene una cadencia de lanzamiento mensual del Service Pack, mida el DDE durante un período de 30 días en cada Service Pack.

Por otro lado, si su empresa solo está ejecutando cuatro (4) ciclos de lanzamiento principales por año, entonces mida durante 90 días para ver cómo disminuye durante ese período de tiempo.

¿Qué se considera un 'buen DDE'?

Es muy parecido a las lecturas de presión arterial que cada organización y persona evoluciona con el tiempo.

Aunque la comunidad médica define la lectura de presión arterial 'óptima' como 120/80, es natural ver un aumento en la presión arterial sistólica a medida que envejecemos. Con DDE, se sabe que los profesionales de la industria y los líderes de opinión dicen que el 90% es encomiable en la mayoría de las industrias.

Sin embargo, he visto organizaciones que alcanzan> 95% de DDE de manera consistente al desplazarse a la izquierda con herramientas de simulación de impacto de cambio como Análisis de impacto de Panaya .

# 2) Defectos en todo el sistema (SWD)

¿Alguna vez ha encontrado varios defectos asociados con los mismos objetos? Seguramente lo habría hecho. Es un fenómeno común que encuentran muchos administradores de pruebas.

De repente, ves un gran aumento en la cantidad de errores informados en un ciclo de UAT. Afortunadamente, apuesto a que eres del tipo que monitorea los defectos cada 15 minutos y 'vincula' manualmente los duplicados o lee cada descripción para discernir la causa raíz, ¿verdad? Dudoso.

Entonces, ¿cuáles son sus opciones para manejar el drama inevitable de la 'inflación de defectos'?

El drama que sigue en esa llamada de recapitulación nocturna con el liderazgo de la sede sobre '¿Por qué un aumento tan repentino en los defectos hoy?' (Pausa…. Respire profundamente antes de responder)… “Estoy en el proceso de trabajar con nuestros Leads Funcionales para realizar un análisis manual de la causa raíz.

Pero creemos que muchos de los problemas se relacionan con un problema común, pero que aún no se ha identificado ', ¿te suena familiar?

Mi sugerencia es que comience a rastrear lo que Panaya llama 'Defectos en todo el sistema' . El seguimiento manual lleva una eternidad. Créame, lo he intentado muchas veces. También es doloroso al usar herramientas de ALM heredadas, donde todo lo que te queda es la capacidad de vincular los defectos entre sí y agregar un comentario.

¡Vaya, eso realmente ayudó! (¿Sientes el sarcasmo?). Pero si no tiene una opción en las herramientas ahora, entonces tendrá que apartar el tiempo para realizar un seguimiento adecuado de los defectos de todo el sistema para 'explicarlo' claramente. por qué la línea de tendencia de errores se mueve hacia arriba hacia el final de un ciclo de prueba en lugar de hacia abajo.

Si tienes la oportunidad, echa un vistazo a Panaya Test Dynamix, tiene SWD integrado en el motor mismo que calcula automáticamente el SWD sobre la marcha.

Defecto en todo el sistema

La telaraña - Residiendo dentro de la 'cabina de riesgo' de esta plataforma, esta es una representación poderosa pero simple de los 6 indicadores clave de rendimiento adicionales que redondean los KPI más importantes que todos los gerentes de calidad, pruebas y versiones deben realizar un seguimiento.

herramienta de reparación y optimización de pc windows 10

# 3) Cumplimiento de requisitos

Los gerentes de control de calidad comprenden el riesgo a un nivel más profundo que solo se puede realizar con un código o una visibilidad a nivel de transporte que se adapta a cada requisito. Esto requiere el conjunto de herramientas adecuado.

La herramienta Panaya responderá a las necesidades de las organizaciones administradas por SAP que buscan sugerencias inteligentes para pruebas unitarias y análisis de riesgos basados ​​en la actividad de transporte.

Este nivel de seguimiento está disponible en Lanzamiento de Panaya Dynamix (RDx) .

Cumplimiento de requisitos

# 4) Finalización del desarrollo

Vivimos en una era en la que los clientes son el rey y esto impulsa la estrategia de transformación digital de todas las organizaciones. En esta época, no podemos permitirnos el lujo de estar aislados en nuestro pensamiento o en nuestro enfoque organizacional para el aseguramiento y la entrega de la calidad del software.

Nuestros modelos ALM tradicionales de antaño no fueron diseñados para el modelo de entrega continua de hoy. Para combatir esta vieja forma de pensar, los gerentes de control de calidad y pruebas deben integrarse en la acción del desarrollo de aplicaciones, lo que significa tener un pulso en la entrega de historias de usuarios.

No es suficiente 'sentarse y esperar' a que la historia de un usuario alcance el estado de completado. Más bien, debemos seguir la evolución de la historia de un usuario, asistir a las reuniones diarias de Scrum y hablar abiertamente sobre los riesgos que se desarrollan con los cambios importantes que se realizan en la aplicación bajo prueba.

# 5) Cobertura del plan de prueba

Este es uno de mis KPI favoritos para rastrear porque no estoy relegado a rastrear el sistema, la integración, la regresión y la cobertura UAT solo.

Con el verdadero espíritu de cambiar a la izquierda, comencé a asesorar sobre la importancia de rastrear la cobertura de pruebas unitarias. Suena loco, ¿verdad? No lo es, especialmente si tiene las herramientas adecuadas para facilitar la ejecución de las pruebas unitarias, pero facilita incluso la captura de los resultados reales (evidencia).

Con la función de grabación y reproducción de prueba incorporada de Panaya Test Dynamix activada, su participación en las pruebas unitarias se disparará. No solo podrá mostrar con orgullo una Matriz de trazabilidad de requisitos que muestra una cobertura de extremo a extremo, sino que también podrá mostrar fácilmente los resultados reales a su departamento de auditoría desde la unidad hasta las pruebas de regresión.

Trazabilidad de requisitos

# 6) Análisis de riesgo de cambio

Un riesgo es inherente a cualquier cambio que hacemos en una aplicación bajo prueba, pero no siempre sabemos si estamos probando las cosas correctas.

Muchas organizaciones tienen su propia definición de lo que significa 'riesgo de cambio' para ellas. Dentro de la 'cabina de riesgo' de la versión Dynamix (RDx) de Panaya, puede eliminar las conjeturas al realizar un seguimiento de los cambios con un análisis de impacto para su proyecto o la próxima versión.

RDx calcula sistemáticamente el riesgo de cada requisito y lo mantiene al tanto de cómo cambia a medida que avanza en el ciclo de vida de la entrega.

Análisis de riesgo de cambio

# 7) Riesgo de ejecución de pruebas

Es demasiado común que todas las organizaciones rastreen KPI como pruebas creadas, pruebas aprobadas, pruebas automatizadas y pruebas ejecutadas, pero ¿qué pasa con el seguimiento de los pasos reales ejecutados dentro de cada una de las pruebas?

¿Ha notado alguna vez que muchos de los popular ALM platforms ¿No proporciona capacidades de generación de informes listas para usar para realizar un seguimiento del progreso de ejecución de los 'pasos' de prueba? Cuando tiene muchas 'transferencias' diferentes en un Ciclo UAT , tiene sentido realizar un seguimiento del riesgo y el estado de ejecución de pruebas, no solo a nivel de prueba, sino también a nivel de proceso empresarial.

Panaya Test Dynamix simplemente hace eso, listo para usar.

riesgo de ejecución de prueba

# 8) Ejecución de defectos

Los defectos de seguimiento también tienen una connotación negativa inherente.

Además de realizar un seguimiento de los defectos activos, los defectos reparados por día, los defectos rechazados y los defectos graves, también sugerimos supervisar la resolución de los defectos en lo que respecta a los requisitos específicos.

Muchas organizaciones no adoptan una visión basada en los requisitos de la resolución de defectos.

¿Por qué esta solución para pruebas?

Con una trazabilidad de extremo a extremo integrada tanto en Release Dynamix como en Panaya Test Dynamix, su organización puede rastrear el flujo de trabajo de resolución de defectos de principio a fin en el nivel de requisitos.

Esto es especialmente útil para los gerentes de lanzamiento, calidad y prueba que buscan una vista panorámica de un proyecto o ciclo de lanzamiento.

mejor administrador de tareas para windows 10

Panaya acelera el proceso de prueba para los usuarios técnicos y comerciales de TI, lo que reduce el esfuerzo general de prueba en un 30-50%:

  • Gerentes: Alertas en tiempo real para pruebas y defectos y prevención de cuellos de botella.
  • Usuarios comerciales: Documentación automatizada de pruebas y defectos.
  • Analistas funcionales: Automatización de actividades de prueba repetitivas.
  • Probadores profesionales: Mejora sin problemas la captura de conocimientos empresariales.
  • Solucionadores de defectos: Reduce de ida y vuelta con los probadores.

¿Qué más debe saber sobre esta solución?

# 1) Panaya Test Dynamix es una solución SaaS lo que significa que obtiene una integración perfecta, actualizaciones frecuentes y sencillas, así como la supervisión de herramientas de automatización en las instalaciones.

# 2) Herramientas de colaboración integradas Optimice los ciclos de prueba con notificaciones y herramientas de comunicación integradas.

El traspaso automático de los pasos de prueba al siguiente usuario elimina el tiempo de inactividad, alivia los cuellos de botella de la carga de trabajo y garantiza flujos de trabajo óptimos.

# 3) Gestión inteligente de defectos permite a los usuarios monitorear de manera centralizada los defectos, su resolución y los procesos comerciales afectados por ellos.

Cuando se encuentra un defecto, identifica automáticamente todas las demás pruebas afectadas por él y bloquea o envía notificaciones a los probadores hasta que se resuelva el defecto principal. El defecto resuelto se cierra automáticamente, eliminando la acumulación de defectos.

# 4) Con un enfoque centrado en procesos de negocio para UAT y SIT, Los expertos en temas multidisciplinarios y geográficamente dispersos validan los ciclos UAT en función de los procesos comerciales reales (aplicaciones empaquetadas).

# 5) Prueba de conectores de automatización Proporcionar una integración completa de Panaya Test Dynamix con las herramientas de automatización existentes para ciclos de regresión efectivos en un tiempo y esfuerzo mínimos con capacidades de seguimiento y monitoreo integrales.

# 6) Automatización de pruebas de pruebas Automatiza las pruebas manuales tradicionalmente administradas en Excel y Word.

Ahorra tiempo al documentar sin esfuerzo cada ejecución de la prueba, incluida la evidencia de la prueba y un registro de los pasos para la reproducción de la prueba, al tiempo que reduce el intercambio entre desarrolladores y probadores. La documentación es listo para auditoría , asegura el cumplimiento de todos los estándares de calidad internos y externos.

# 7) Prueba autónomaSM for SAP permite la creación y el mantenimiento de casos de prueba sin intervención, por lo que ya no tendrá que lidiar con los problemas asociados con la captura de conocimientos comerciales y el proceso de creación y mantenimiento de scripts diseñados manualmente.

Los scripts se pueden personalizar, mientras que el aprendizaje automático ofrece validación y sugerencias basadas en análisis de masas.

# 8) Captura automatizada de conocimiento empresarial - Omega crea automáticamente casos de prueba de la vida real basados ​​en las actividades de los usuarios comerciales capturadas sin problemas en la producción utilizando algoritmos de aprendizaje automático (SAP).

Conclusión

Los gerentes de calidad del software y todas las partes interesadas relevantes pueden cumplir con sus KPI de prueba para impulsar más innovación y reducir los esfuerzos en un 30-50%, sin comprometer el alcance o la calidad utilizando Panaya.

Estandariza el proceso de prueba y mide el éxito, ya que todas las partes interesadas adoptan la misma metodología de prueba para obtener visibilidad en tiempo real de todos los ciclos de prueba, incluido el UAT a gran escala.

Para obtener más información, puede explorar Prueba de Panaya Dynamix .

Háganos saber sus pensamientos / consultas en los comentarios a continuación.

Lectura recomendada

^