Ingeniero De Datos Databricks Bilingue

¡Haz parte de la transformación! #Ingeniería #Datos

Únete a nuestro equipo, trabaja en los proyectos tecnológicos más impactantes!

En nuestro equipo buscamos un Data Engineer con experiencia sólida en la plataforma Databricks Lakehouse para diseñar y construir pipelines de datos robustos, escalables y de producción que impulsen analítica avanzada y Machine Learning.

Si tienes experiencia conectando diversas fuentes de datos, dominas el ecosistema de Databricks y te motiva el trabajo dinámico con clientes, ¡esta oportunidad es para ti!

Responsabilidades:

• Diseño y Construcción de Pipelines: Diseñar y construir pipelines de datos confiables y escalables para la ingesta, transformación, normalización y enriquecimiento de la información.
• Gestión de Datos Diversos: Trabajar con datos estructurados, semiestructurados y no estructurados en diversos entornos de almacenamiento.
• Ingesta Multi-fuente: Desarrollar estrategias para la extracción y origen de datos desde múltiples plataformas (archivos planos, bases de datos, APIs, flujos en tiempo real, etc.).
• Desarrollo en Databricks: Desarrollar y mantener flujos de trabajo de transformación de datos en Databricks utilizando Delta Lake, Spark notebooks y Unity Catalog.
• Modelado y Colaboración: Colaborar con equipos multidisciplinarios para levantar requerimientos de datos y traducirlos en modelos de datos accionables.
• Calidad del Dato: Realizar controles de calidad de datos e implementar lógicas de validación para garantizar entregables confiables y consistentes.
• Visualización Básica: Crear visualizaciones básicas de datos para apoyar los procesos de validación, exploración y comunicación con los stakeholders.
• Optimización de Rendimiento: Optimizar el rendimiento de los pipelines en entornos de nube y de computación distribuida.

Nos interesa que tengas:

• Experiencia Mínima: Más de 3 años de experiencia práctica en entornos de producción con Databricks, utilizando SQL y Python en roles de ingeniería de datos.
• Ecosistema Spark: Experiencia con herramientas y frameworks de transformación de datos como DLT (Delta Live Tables), dbt y Apache Spark dentro del ecosistema de Databricks.
• Estructura Databricks: Experiencia directa en producción con componentes de Databricks, incluyendo Delta Lake, Spark notebooks y gobierno de datos con Unity Catalog.
• Entornos Cloud: Familiaridad con plataformas de datos en la nube (AWS).
• Metodología ETL: Comprensión sólida de procesos ETL/ELT y orquestación de pipelines de datos.
• Prácticas de DataOps: Experiencia con procesos y herramientas de DataOps, tales como Databricks Asset Bundles (DABs) y uso de sistemas de control de versiones como Git.
• Habilidades Blandas: Excelentes habilidades de comunicación y resolución de problemas técnicos.
• Crecimiento Profesional: Actitud proactiva en la búsqueda de oportunidades para aprender y expandir sus habilidades técnicas.

• Contexto de Consultoría: Experiencia previa en roles de consultoría o de cara directa al cliente.

• Nivel mínimo de educación: Profesional graduado en Ingeniería de Sistemas, Ingeniería Electrónica, Ingeniería de Datos, Estadística o carreras afines con un fuerte componente técnico y bases sólidas en computación distribuida, estructuras de datos e ingeniería de software.

Sería un plus si cuentas con:

• Databricks Avanzado: Experiencia avanzada en Databricks, incluyendo Databricks Workflows/Jobs, Lakeflow Connect, Delta Live Tables (DLT) y optimización de rendimiento a escala.
• Orquestación y ML: Experiencia con herramientas modernas de flujos de trabajo de datos y Machine Learning (por ejemplo, Airflow, MLflow).
• Herramientas de BI: Familiaridad con librerías o herramientas de visualización de datos (por ejemplo, matplotlib, Power BI, Tableau).
• Buenas Prácticas: Entendimiento profundo de las mejores prácticas en modelado de datos, calidad de datos y monitoreo continuo de pipelines.

Recuerda que ese esencial para este perfil:
Databricks (ETL/ELT - AWS), Python y SQL, Inglés B2 o superior

• Aplica únicamente en Colombia.