specflow reporting how generate test reports
Tutorial del generador de informes de Specflow: formas de generar informes de prueba y ejecutar pruebas selectivas en Specflow:
En esto Tutoriales de formación Specflow para todos , exploramos todo sobre Generando documentación viva con Pickles en nuestro tutorial anterior.
En este tutorial, discutiremos las diversas técnicas para crear informes para las pruebas escritas en el marco de Specflow.
El tipo de informe generado también depende en gran medida del tipo de corredor de prueba que se esté utilizando. Tanto las variantes de corredores gratuitas como las de pago están disponibles y cada una tiene sus pros y sus contras.
Discutiremos más sobre la creación de informes utilizando una combinación de NUnit como ejecutor de prueba y plantillas de informes de Specflow para generar informes HTML a partir de los archivos de salida de prueba generados por NUnit.
Lo que vas a aprender:
Informes de Specflow
Ver el vídeo: Vea el video tutorial sobre Specflow Reporting
cómo abrir un archivo .apk en Windows
Generación de informes de prueba: requisitos previos
Antes de comenzar a generar un informe de prueba, asegurémonos de que todos los requisitos previos estén disponibles o instalados.
Usaremos el mismo ejemplo de prueba de búsqueda de YouTube que usa la plantilla Specflow con el corredor de prueba NUnit. Para comenzar a generar informes, necesitará la consola NUnit para ejecutar las pruebas de Specflow.
Instale la consola NUnit descargando el archivo del paquete ejecutable para Windows aquí . Descargue el paquete NUnit-Console -3.9.0 MSI y complete la instalación paso a paso de NUnit Console ejecutando el archivo del paquete descargado.
Una vez que se haya instalado correctamente, debería poder ver la carpeta Nunit en la carpeta Archivos de programa.
Consulte la captura de pantalla a continuación:
La generación de informes de Specflow también funciona con otros marcos como MSUnit de la misma manera que NUnit.
Proceso paso a paso
#1) Ejecute las pruebas usando NUnit Console para crear un informe XML.
- Compile SpecflowProject en Visual Studio y asegúrese de que no se haya creado ningún archivo dll del proyecto con errores de compilación. El archivo DLL creado debería estar disponible en la carpeta Debug / Release del proyecto de Visual Studio.
- Ahora abra el símbolo del sistema y navegue hasta la ubicación base de la consola NUnit.
- Ejecute el siguiente comando para ejecutar las pruebas de Specflow.
Veamos primero la sintaxis:
|_+_| 
Una vez que se ejecuta el comando anterior, verá todos sus escenarios en los archivos de funciones para comenzar a ejecutarse. Una vez finalizada la prueba, asegúrese de que el archivo de resultados XML de la ejecución de NUnit se genere en la ubicación especificada en el resultado parámetro en el comando anterior.
También tenga en cuenta aquí que el formato del informe generado que tenemos se selecciona como “NUnit2” ya que la versión actual de Specflow no es compatible con NUnit 3. Una vez que este soporte está disponible, la opción de formato de informe se puede eliminar.
#2) Ahora use la aplicación specflow.exe para crear el informe HTML.
La aplicación specflow.exe se ejecuta sobre el informe XML generado por NUnit y genera informes HTML atractivos. specflow.exe es una aplicación ejecutable presente en la carpeta del paquete npm del proyecto donde se instaló specflow.
Vea la captura de pantalla a continuación para localizar el ejecutable de Specflow.
El informe generado por esta aplicación es de formato HTML y contiene un resumen de los escenarios ejecutados agrupados por características.
Ejecute los siguientes pasos para generar un informe HTML a partir del informe XML que se generó a través de la ejecución de la consola NUnit.
- Abra el símbolo del sistema y navegue hasta el ejecutable de Specflow.
- Ahora ejecute el comando con la siguiente sintaxis para generar el informe HTML.
- Una vez que el comando anterior complete la ejecución, asegúrese de que el informe HTML se genere en la ubicación de la carpeta especificada.
Abramos el informe generado y veamos las diferentes secciones. Las secciones importantes descritas en el informe se destacan a continuación.
fase de análisis del ciclo de vida del desarrollo de software
Como puede ver, el informe anterior es mucho más fácil de leer e interpretar y es útil para que todas las partes interesadas del proyecto echen un vistazo al resumen general de ejecución de la prueba.
Ejecución de pruebas selectivas
Muy a menudo, debe ejecutar algunas pruebas selectivas o un subconjunto de todo el conjunto de pruebas o pruebas marcadas con algunas categorías especiales. Todo esto es posible a través de las etiquetas Specflow que vimos en nuestros artículos anteriores (que se pueden aplicar tanto a nivel de Característica como a nivel de Escenario).
Por lo tanto, para ejecutar solo un subconjunto de pruebas, podemos usar etiquetas Specflow para marcar / etiquetar tales escenarios y mientras se ejecuta a través del corredor de la consola NUnit, las categorías se pueden mencionar como parte del comando.
Veamos el proceso paso a paso para realizar una ejecución de prueba selectiva:
#1) Abra el proyecto de Visual Studio y etiquetemos un escenario / característica que queremos ejecutar de forma selectiva con una etiqueta / categoría denominada 'selectiva'.
#2) Compile la solución para que se produzcan los cambios y se creará una nueva DLL con los cambios actualizados.
#3) Ahora abra el símbolo del sistema y siga los pasos mencionados anteriormente para ejecutar las pruebas con la aplicación de consola NUnit.
#4) El ejecutable NUnit mira el filtro de prueba e intenta buscar todas las pruebas que coincidan con el filtro especificado. En nuestro caso, intentará hacer coincidir todas las características / escenarios con la categoría “selectiva” y ejecutará solo esas pruebas.
Como acabamos de etiquetar un escenario con esta etiqueta, deberíamos esperar que el ejecutor de pruebas de NUnit ejecute solo una prueba.
|_+_|Como puede ver arriba, hemos mencionado filtros como 'gato == selectivo'. La aplicación NUnit lo interpreta como un filtro de categoría con el valor “selectivo”.
#5) Una vez que se completa la ejecución del comando anterior, podemos ver el resumen de la prueba en la consola (así como el informe XML generado por NUnit).
#6) Ahora, podemos crear un informe HTML a partir de él (siguiendo los pasos para generar HTML a través del ejecutable Specflow). Así es como se verá el HTML generado.
Como NUnit acaba de ejecutar una prueba, el informe HTML generado debe mostrar solo una característica y un escenario.
Veamos cómo se ve el informe HTML:
Conclusión
En este tutorial, exploramos las diferentes formas de ejecutar las pruebas de características de Specflow junto con la generación de informes HTML a través del ejecutable de Specflow. Los informes generados son fáciles de leer e interpretar y son útiles para todas las partes interesadas del proyecto.
También vimos las técnicas para ejecutar un subconjunto de pruebas en lugar de todo el conjunto de pruebas a través de las etiquetas Specflow, lo que permite a NUnit buscar / filtrar escenarios específicos y ejecutar solo aquellos que coinciden con los criterios de filtro especificados.
¡Consulte nuestro próximo tutorial para explorar las preguntas de entrevista más frecuentes sobre Specflow!
PREV Tutorial | SIGUIENTE Tutorial
Lectura recomendada
- Genere documentación viva con Pickles para archivos de características Specflow
- Cómo administrar requisitos, ejecutar casos de prueba y generar informes usando TestLink - Tutorial n. ° 2
- Guía para generar informes de extensión en Selenium WebDriver
- Cree pruebas de Appium para una aplicación de Android
- Transformaciones de argumentos de paso y tablas de flujo de especificaciones
- Cómo ejecutar la ejecución a gran escala de pruebas de Appium en paralelo
- Ejecución de sus pruebas de Appium en paralelo con Appium Studio para Eclipse
- Tutorial de Specflow: La guía definitiva para la herramienta BDD