Las 29 preguntas y respuestas principales de las entrevistas para ingenieros de datos

top 29 data engineer interview questions

Lista de las preguntas y respuestas de las entrevistas de ingenieros de datos más frecuentes que lo ayudarán a prepararse para la próxima entrevista:

Hoy en día, la ingeniería de datos es el campo más buscado después del desarrollo de software y se ha convertido en una de las opciones de trabajo de más rápido crecimiento en el mundo. Los entrevistadores quieren los mejores ingenieros de datos para su equipo y es por eso que tienden a entrevistar a los candidatos a fondo. Buscan ciertas habilidades y conocimientos. Por lo tanto, debe estar preparado en consecuencia para cumplir con sus expectativas.

Lo que vas a aprender:

• Responsabilidades de un ingeniero de datos
• Habilidades de un ingeniero de datos
• Preguntas frecuentes de la entrevista del ingeniero de datos
  • Preguntas generales de la entrevista
  • Preguntas de la entrevista técnica
• Conclusión
  • Lectura recomendada

Responsabilidades de un ingeniero de datos

Las responsabilidades incluyen:

• Manejar y supervisar los datos dentro de la empresa.
• Mantener y manejar el sistema de origen de los datos y las áreas de preparación.
• Simplifique la limpieza de datos junto con la posterior creación y mejora de la duplicación de datos.
• Ponga a disposición y ejecute tanto la transformación de datos como el proceso ETL.
• Extracción y construcción de consultas de datos ad-hoc.

Habilidades de un ingeniero de datos

Con las calificaciones, también necesita ciertas habilidades. Ambos son cruciales cuando se está preparando para el puesto de ingeniero de datos. Aquí, enumeramos las 5 habilidades principales, sin ningún orden en particular, que necesitará para convertirse en un ingeniero de datos exitoso.

• Habilidades en visualización de datos.
• Python y SQL.
• Conocimiento de modelado de datos para Big Data y Data Warehousing
• Matemáticas
• Know-how en ETL
• Experiencia espacial de Big Data

Por lo tanto, debe trabajar para mejorar estos conjuntos de habilidades antes de comenzar a prepararse para su entrevista. Y cuando haya pulido sus habilidades, aquí hay algunas preguntas de la entrevista que puede preparar para que los entrevistadores lo noten y lo contraten también.

Preguntas frecuentes de la entrevista del ingeniero de datos

Preguntas generales de la entrevista

P # 1) ¿Por qué estudió ingeniería de datos?

Responder: Esta pregunta tiene como objetivo conocer su educación, experiencia laboral y antecedentes. Podría haber sido una elección natural en la continuación de su título en Sistemas de Información o Ciencias de la Computación. O tal vez ha trabajado en un campo similar, o puede estar pasando de un área de trabajo completamente diferente.

Cualquiera que sea tu historia, no te reprimas ni te acobardes. Y mientras comparte, siga destacando las habilidades que ha aprendido a lo largo del camino y el excelente trabajo que ha realizado.

Sin embargo, no empieces a contar historias. Comience un poco con su experiencia educativa y luego llegue a la parte en la que sabía que quería ser ingeniero de datos. Y luego sigue cómo llegas aquí.

P # 2) ¿Qué es lo más difícil de ser un ingeniero de datos según usted?

Responder: Debes responder esta pregunta con sinceridad. No todos los aspectos de todos los trabajos son fáciles y su entrevistador lo sabe. El objetivo de esta pregunta no es señalar su debilidad, sino saber cómo trabaja en las cosas que le resultan difíciles de afrontar.

Puede decir algo como: “Como ingeniero de datos, me resulta difícil completar la solicitud de todos los departamentos de una empresa donde la mayoría de ellos a menudo presentan demandas contradictorias. Por lo tanto, a menudo me resulta difícil equilibrarlos en consecuencia.

Pero me ha ofrecido una valiosa información sobre el funcionamiento de los departamentos y el papel que desempeñan en la estructura general de la empresa '. Y este es sólo un ejemplo. Puedes y debes poner tu punto de vista.

P # 3) Cuéntenos un incidente en el que se suponía que debía reunir datos de varias fuentes, pero enfrentó problemas inesperados y ¿cómo lo resolvió?

Responder: Esta pregunta es una oportunidad para que demuestre sus habilidades para resolver problemas y cómo se adapta a los cambios repentinos de plan. La pregunta podría abordarse de manera general o específica en el contexto de la ingeniería de datos. Si no ha pasado por una experiencia de este tipo, puede ofrecer una respuesta hipotética.

Aquí hay una respuesta de muestra: “En mi empresa de franquicia anterior, se suponía que mi equipo y yo recopilamos datos de varias ubicaciones y sistemas. Pero una de las franquicias cambió su sistema sin avisarnos previamente. Esto resultó en algunos problemas para la recopilación y el procesamiento de datos.

Para resolver eso, primero tuvimos que idear una solución rápida a corto plazo para obtener los datos esenciales en el sistema de la empresa. Y después de eso, hemos desarrollado una solución a largo plazo para evitar que estos problemas vuelvan a ocurrir '.

P # 4) ¿En qué se diferencia el trabajo de un ingeniero de datos del de un arquitecto de datos?

Responder: Esta pregunta tiene como objetivo comprobar si comprende que existen diferencias dentro del equipo de un almacén de datos. No puedes equivocarte con la respuesta. Las responsabilidades de ambos se superponen o varían según lo que necesite el departamento de mantenimiento de la base de datos o la empresa.

Puede decir que “según mi experiencia, la diferencia entre las funciones de un ingeniero de datos y un arquitecto de datos varía de una empresa a otra. Aunque trabajan muy de cerca, existen diferencias en sus responsabilidades generales.

La gestión de los servidores y la construcción de la arquitectura del sistema de datos de una empresa es responsabilidad de un arquitecto de datos. Y el trabajo de un ingeniero de datos es probar y mantener esa arquitectura. Junto con eso, nosotros, los ingenieros de datos, nos aseguramos de que los datos que están disponibles para los analistas sean de alta calidad y confiables '.

Preguntas de la entrevista técnica

P # 5) ¿Cuáles son las cuatro V de Big Data?

(imagen fuente )

Responder:

Las cuatro V de Big Data son:

• La primera V es Velocidad que se refiere a la velocidad a la que se generan Big Data a lo largo del tiempo. Entonces, se puede considerar como un análisis de los datos.
• La segunda V es la Variedad de varias formas de Big Data, ya sea dentro de imágenes, archivos de registro, archivos multimedia y grabaciones de voz.
• La tercera V es la Volumen de los datos. Podría ser el número de usuarios, el número de tablas, el tamaño de los datos o el número de registros.
• La cuarta V es Veracidad relacionado con la incertidumbre o certeza de los datos. En otros términos, decide qué tan seguro puede estar sobre la precisión de los datos.

P # 6) ¿En qué se diferencian los datos estructurados de los datos no estructurados?

Respuesta: La siguiente tabla explica las diferencias:

P # 7) ¿Con qué herramientas ETL está familiarizado?

Responder: Nombre todas las herramientas ETL con las que ha trabajado. Puede decir: “He trabajado con SAS Data Management, IBM Infosphere y SAP Data Services. Pero mi preferido es PowerCenter de Informatica. Es eficiente, tiene una tasa de rendimiento extremadamente alta y es flexible. En resumen, tiene todas las propiedades importantes de una buena herramienta ETL.

Ejecutan sin problemas las operaciones de datos comerciales y garantizan el acceso a los datos incluso cuando se están produciendo cambios en el negocio o en su estructura '. Asegúrese de hablar solo de aquellos con los que ha trabajado y con los que le gusta trabajar. O podría arruinar su entrevista más tarde.

P # 8) Cuéntenos acerca de los esquemas de diseño del modelado de datos.

Responder: El modelado de datos viene con dos tipos de esquemas de diseño.

Se explican de la siguiente manera:

• El primero es el Horario estrella , que se divide en dos partes: la tabla de hechos y la tabla de dimensiones. Aquí, ambas tablas están conectadas. El esquema en estrella es el estilo de esquema de mercado de datos más simple y también es el más abordado. Se llama así porque su estructura se asemeja a una estrella.
• El segundo es el Esquema de copo de nieve que es la extensión del esquema en estrella. Agrega dimensiones adicionales y se llama copo de nieve porque su estructura se asemeja a la de un copo de nieve.

P # 9) ¿Cuál es la diferencia entre el esquema de estrella y el esquema de copo de nieve?

(imagen fuente )

Respuesta: La siguiente tabla explica las diferencias:

P # 10) ¿Cuál es la diferencia entre el almacén de datos y la base de datos operativa?

Respuesta: La siguiente tabla explica las diferencias:

P # 11) Señale la diferencia entre OLTP y OLAP.

Responder: La siguiente tabla explica las diferencias:

P # 12) Explique el concepto principal detrás del Framework de Apache Hadoop.

Responder: Está basado en el algoritmo MapReduce. En este algoritmo, para procesar un gran conjunto de datos, se utilizan las operaciones Map y Reduce. Mapea, filtra y ordena los datos mientras que Reduce, resume los datos. La escalabilidad y la tolerancia a fallos son los puntos clave de este concepto. Podemos lograr estas características en Apache Hadoop implementando eficientemente MapReduce y Multi-threading.

P # 13) ¿Ha trabajado alguna vez con Hadoop Framework?

(imagen fuente )

Responder: Muchos gerentes de contratación preguntan sobre la herramienta Hadoop en la entrevista para saber si está familiarizado con las herramientas y los idiomas que utiliza la empresa. Si ha trabajado con Hadoop Framework, cuénteles los detalles de su proyecto para aclarar sus conocimientos y habilidades con la herramienta y sus capacidades. Y si nunca ha trabajado con él, también funcionarán algunas investigaciones para mostrar cierta familiaridad con sus atributos.

Puedes decir, por ejemplo, “Mientras trabajaba en un proyecto de equipo, tuve la oportunidad de trabajar con Hadoop. Nos enfocamos en aumentar la eficiencia del procesamiento de datos, por lo que, debido a su capacidad para aumentar la velocidad del procesamiento de datos sin comprometer la calidad durante su procesamiento distribuido, decidimos utilizar Hadoop.

Y como mi empresa anterior esperaba un aumento considerable en el procesamiento de datos durante los próximos meses, su escalabilidad también fue útil. Hadoop también es una red de código abierto basada en Java, lo que la convierte en la mejor opción para los proyectos con recursos limitados y fácil de usar sin ninguna formación adicional ”.

implementación del algoritmo de dijkstra en java

P # 14) Mencione algunas características importantes de Hadoop.

Respuesta: Las características son las siguientes:

• Hadoop es un marco de código abierto gratuito donde podemos modificar el código fuente según nuestro requisito.
• Es compatible con el procesamiento de datos distribuido más rápido. HDFS Hadoop almacena datos de manera distribuida y usa MapReduce para procesar los datos en paralelo.
• Hadoop es altamente tolerante y por defecto, en diferentes nodos, permite al usuario crear tres réplicas de cada bloque. Entonces, si uno de los nodos no tiene éxito, podemos recuperar los datos de otro nodo.
• También es escalable y compatible con muchos hardware.
• Dado que Hadoop almacenó datos en clústeres, independientemente de todas las demás operaciones. Por tanto, es fiable. Los datos almacenados no se ven afectados por el mal funcionamiento de las máquinas. Y así, también está altamente disponible.

P # 15) ¿Cómo puede aumentar los ingresos comerciales mediante el análisis de Big Data?

Responder: El análisis de big data es una parte vital de las empresas, ya que las ayuda a diferenciarse entre sí y a aumentar los ingresos. El análisis de big data ofrece sugerencias y recomendaciones personalizadas a las empresas a través del análisis predictivo.

También ayuda a las empresas a lanzar nuevos productos basados ​​en las preferencias y necesidades de los clientes. Esto ayuda a las empresas a ganar significativamente más, aproximadamente un 5-20% más. Empresas como Bank of America, LinkedIn, Twitter, Walmart, Facebook, etc. utilizan Big Data Analysis para aumentar sus ingresos.

P # 16) Al implementar una solución de Big Data, ¿qué pasos debe seguir?

Respuesta: Hay tres pasos que se deben seguir al implementar una solución de Big Data:

• Ingestión de datos Es el primer paso para implementar una solución de Big Data. Es la extracción de datos de varias fuentes como SAP, MYSQL, Salesforce, archivos de registro, base de datos interna, etc. La ingesta de datos puede ocurrir a través de trabajos por lotes o de transmisión en tiempo real.
• Almacenamiento de datos- Una vez que se ingieren los datos, los datos extraídos deben almacenarse en algún lugar. Se almacena en bases de datos HDFS o NoSQL. HDFS funciona bien para acceso secuencial a través de HBase para acceso aleatorio de lectura o escritura.
• Procesamiento de datos- Este es el tercer y último paso para la implementación en una solución de Big Data. Después del almacenamiento, los datos se procesan a través de uno de los marcos principales como MapReduce o Pig.

P # 17) ¿Qué es un escáner de bloques y bloques en HDFS?

Responder: Un bloque es la cantidad mínima de datos que se pueden escribir o leer en HDFS. 64 MB es el tamaño predeterminado de un bloque.

El escáner de bloques es un programa que rastrea la cantidad de bloques en un DataNode periódicamente junto con la verificación de posibles errores de suma de verificación y corrupción de datos.

P # 18) ¿Cuáles son los desafíos que ha enfrentado al introducir nuevas aplicaciones de análisis de datos, si alguna vez ha introducido una?

Responder: Si nunca ha introducido nuevos análisis de datos, simplemente puede decirlo. Porque son bastante caros y, por lo tanto, no es frecuente que las empresas lo hagan. Pero si una empresa decide invertir en él, puede ser un proyecto extremadamente ambicioso. Se necesitarían empleados altamente capacitados para instalar, conectar, usar y mantener estas herramientas.

Entonces, si alguna vez ha pasado por el proceso, dígales qué obstáculos enfrentó y cómo los superó. Si no lo ha hecho, cuénteles en detalle lo que sabe sobre el proceso. Esta pregunta determina si tiene los conocimientos básicos para superar los problemas que puedan surgir durante la introducción de nuevas aplicaciones de análisis de datos.

Respuesta ejemplo; “He sido parte de la introducción de nuevos análisis de datos en mi empresa anterior. Todo el proceso es elaborado y necesita un proceso bien planificado para una transición lo más suave posible.

Sin embargo, incluso con una planificación impecable, no siempre podemos evitar circunstancias y problemas imprevistos. Uno de esos problemas fue una demanda increíblemente alta de licencias de usuario. Fue más allá de lo que esperábamos. Para obtener las licencias adicionales, la empresa tuvo que reasignar los recursos financieros.

Además, la formación debía planificarse de forma que no obstaculizara el flujo de trabajo. Además, tuvimos que optimizar la infraestructura para admitir la gran cantidad de usuarios '.

P # 19) ¿Qué pasa si NameNode falla en el clúster HDFS?

Responder: El clúster HDFS solo tiene un NameNode y mantiene los metadatos de DataNode. Tener solo un NameNode brinda a los clústeres HDFS un único punto de falla.

Por lo tanto, si NameNode falla, es posible que los sistemas no estén disponibles. Para evitar eso, podemos especificar un NameNode secundario que toma los puntos de control periódicos en los sistemas de archivos HDFS, pero no es una copia de seguridad del NameNode. Pero podemos usarlo para recrear NameNode y reiniciar.

P # 20) Diferencia entre NAS y DAS en el clúster Hadoop.

Responder: En NAS, las capas de almacenamiento y computación están separadas y luego el almacenamiento se distribuye entre varios servidores de la red. Mientras que en DAS, el almacenamiento generalmente se adjunta al nodo de cálculo. Apache Hadoop se basa en el principio de procesamiento cerca de una ubicación de datos específica.

Por lo tanto, el disco de almacenamiento debe ser local para el cálculo. DAS le ayuda a obtener rendimiento en un clúster de Hadoop y se puede utilizar en hardware básico. En palabras simples, es más rentable. Se prefiere el almacenamiento NAS con un ancho de banda alto de alrededor de 10 GbE.

P # 21) ¿Es mejor construir una base de datos NoSQL que construir una base de datos relacional?

(imagen fuente )

Responder: En respuesta a esta pregunta, debe demostrar sus conocimientos sobre ambas bases de datos. Además, debe respaldarlo con un ejemplo de la situación que demuestre cómo habrá aplicado el know-how en un proyecto real.

Su respuesta podría ser algo como esto: “En algunas situaciones, puede ser beneficioso crear una base de datos NoSQL. En mi última empresa, cuando el sistema de franquicias aumentaba exponencialmente en tamaño, tuvimos que escalar rápidamente para aprovechar al máximo todos los datos operativos y de ventas que teníamos.

Escalar horizontalmente es mejor que escalar con servidores más grandes cuando se maneja la mayor carga de procesamiento de datos. Es rentable y más fácil de lograr con bases de datos NoSQL, ya que puede manejar fácilmente grandes volúmenes de datos. Eso resulta útil cuando necesita responder rápidamente a cambios considerables en la carga de datos en el futuro.

Aunque las bases de datos relacionales vienen con una mejor conectividad a cualquier herramienta de análisis. Pero las bases de datos NoSQL tienen mucho que ofrecer ”.

P # 22) ¿Qué hace cuando encuentra un problema inesperado con el mantenimiento de datos? ¿Ha probado alguna solución lista para usar para eso?

Responder: Inevitablemente, surgen problemas inesperados de vez en cuando en cada tarea de rutina, incluso durante el mantenimiento de datos. Esta pregunta tiene como objetivo saber si puede lidiar con situaciones de alta presión y cómo.

Puede decir algo como “el mantenimiento de datos puede ser una tarea de rutina, pero es vital vigilar de cerca las tareas específicas, incluido asegurarse de la ejecución exitosa de los scripts.

Una vez, mientras realizaba la verificación de integridad, encontré un índice corrupto que podría haber causado problemas graves en el futuro. Por eso se me ocurrió una nueva tarea de mantenimiento para evitar que se agreguen índices corruptos a la base de datos de la empresa '.

P # 23) ¿Alguna vez ha entrenado a alguien en su campo? Si es así, ¿qué ha encontrado más desafiante al respecto?

Responder: Por lo general, se necesitan ingenieros de datos para capacitar a sus compañeros de trabajo en los nuevos sistemas o procesos que ha creado o capacitar a los nuevos empleados en los sistemas y la arquitectura ya existentes. Entonces, con esta pregunta, su entrevistador quiere saber si puede manejar eso. Si no ha tenido la oportunidad de capacitar a alguien usted mismo, hable sobre los desafíos de alguien que capacitó o que sabe que enfrentó.

Una muestra de la respuesta ideal será algo como esto. “Sí, he tenido la oportunidad de capacitar a pequeños y grandes grupos de compañeros de trabajo. Formar nuevos empleados con experiencia significativa en otra empresa es la tarea más desafiante con la que me he encontrado. A menudo están tan acostumbrados a abordar los datos desde una perspectiva diferente que les cuesta aceptar la forma en que hacemos las cosas.

A menudo, son extremadamente obstinados y piensan que saben todo bien y es por eso que les toma mucho tiempo darse cuenta de que un problema puede tener más de una solución. Intento animarlos a que abran sus mentes y acepten posibilidades alternativas haciendo hincapié en el éxito de nuestra arquitectura y nuestros procesos ”.

P # 24) ¿Cuáles son las ventajas y desventajas de trabajar en la computación en la nube?

(imagen fuente )

Responder:

Pros:

• Sin costo de infraestructura.
• Manejo mínimo.
• Sin problemas de gestión y administración.
• Fácil de acceder.
• Paga por lo que usas.
• Es confiable.
• Ofrece control, respaldo y recuperación de datos.
• Gran almacenamiento.

Contras:

• Necesita una buena conexión a Internet con un ancho de banda igualmente bueno para funcionar bien.
• Tiene su tiempo de inactividad.
• Su control de la infraestructura será limitado.
• Hay poca flexibilidad.
• Tiene ciertos costos continuos.
• Puede haber problemas técnicos y de seguridad.

P # 25) El trabajo de los ingenieros de datos suele ser 'entre bastidores'. ¿Se siente cómodo trabajando lejos del 'centro de atención'?

Responder: Su gerente de contratación quiere saber si le encanta el centro de atención o si puede trabajar bien en ambas situaciones. Su respuesta debería decirles que, aunque le gusta el centro de atención, también se siente cómodo trabajando en segundo plano.

“Lo que me importa es que debo ser un experto en mi campo y contribuir al crecimiento de mi empresa. Si tengo que trabajar en el centro de atención, también me siento cómodo haciéndolo. Si hay un problema que los ejecutivos deben abordar, no dudaré en alzar mi voz y llamar su atención '.

P # 26) ¿Qué sucede cuando el escáner de bloques detecta un bloque de datos corrupto?

Responder: En primer lugar, DataNode informa a NameNode. Entonces NameNode comienza a crear una nueva réplica a través de la réplica del bloque corrupto. El bloque de datos dañado no se eliminará si el recuento de replicación de las réplicas correctas coincide con el factor de replicación.

P # 27) ¿Alguna vez ha encontrado un nuevo uso innovador para los datos ya existentes? ¿Afectó positivamente a la empresa?

Responder: Esta pregunta está destinada a que averigüen si usted está lo suficientemente motivado y dispuesto a contribuir al éxito de los proyectos. Si es posible, responda la pregunta con un ejemplo en el que se hizo cargo de un proyecto o se le ocurrió una idea. Y si alguna vez presentó una solución novedosa a un problema, tampoco se la pierda.

Respuesta de ejemplo: “En mi último trabajo, participé en averiguar por qué tenemos una alta tasa de rotación de empleados. Observé de cerca los datos de varios departamentos donde encontré datos altamente correlacionados en áreas clave como finanzas, marketing, operaciones, etc. y la tasa de rotación de empleados.

Colaboré con los analistas del departamento para una mejor comprensión de esas correlaciones. Con nuestro entendimiento, hicimos algunos cambios estratégicos que afectaron positivamente la tasa de rotación de empleados ”.

P # 28) ¿Qué habilidades no técnicas cree que son más útiles como ingeniero de datos?

Responder: Trate de evitar las respuestas más obvias como la comunicación o las habilidades interpersonales. Puede decir, “priorizar y realizar múltiples tareas a menudo ha sido útil en mi trabajo. Conseguimos varias tareas en un día porque trabajamos con diferentes departamentos. Y, por lo tanto, es vital que les demos prioridad. Facilita nuestro trabajo y nos ayuda a terminarlos todos de manera eficiente '.

P # 29) ¿Cuáles son algunos de los problemas comunes que ha enfrentado como ingeniero de datos?

Respuesta: Estos son:

• Integración continua y en tiempo real.
• Almacenar grandes cantidades de datos e información de esos datos.
• Limitaciones de recursos.
• Considerar qué herramientas utilizar y cuáles pueden ofrecer los mejores resultados.

Conclusión

La ingeniería de datos puede parecer un trabajo rutinario y aburrido, pero tiene muchas facetas interesantes. Eso es evidente a partir de las posibles preguntas de escenario que podrían hacer los entrevistadores. Debe estar preparado para responder no solo a preguntas técnicas librescas, sino también a preguntas situacionales como las mencionadas anteriormente. Solo así podrás demostrar que puedes hacer bien tu trabajo y que te lo mereces.

¡¡Todo lo mejor!!

Lectura recomendada

• Preguntas y respuestas de la entrevista
• Preguntas y respuestas de la entrevista de prueba ETL
• Las 32 mejores preguntas y respuestas de la entrevista de Datastage
• Principales preguntas y respuestas de la entrevista JSON
• Principales preguntas y respuestas de la entrevista de Teradata
• Las 24 preguntas principales de la entrevista de modelado de datos con respuestas detalladas
• Más de 50 preguntas y respuestas principales de entrevistas de base de datos
• Las 30 preguntas y respuestas principales de la entrevista SAS