Construir y supervisar las labores de diseño detallado y los componentes de software necesarios para satisfacer los requisitos funcionales y no funcionales de la solución y brindar soporte a los proyectos asignados.
Volver
#5572 Ingeniero De Datos Etl (Airflow + Python) Remoto Colombia
Personal Soft S. A.s
Jornada Completa
Staffing
2 vacantes
Colombia
Publicado hace menos de 3 días
Descripción
Requerimientos
Ingeniero de sistemas o carreras afines con más de 4 años de experiencia que convierta los diseños del Data Engineer Senior en ETLs productivas (Airflow + Python) para Oracle/MSSQL/Postgres/archivos, con enfoque en incrementalidad, idempotencia y rendimiento.
CONOCIMIENTOS NECESARIOS
• Python avanzado
• Apache Airflow Avanzado (Operators/Hooks/Sensors, XCom, Pools, SLA, backfill)
• SQL avanzado (CTEs, window functions, MERGE/UPSERT), PL/SQL y T‑SQL lectura
• extracción incremental (timestamps/rowversion/keys)
• Conectores: OracleHook, MsSqlHook, PostgresHook • Ingesta de archivos (CSV, TXT, XLSX)
• Validaciones de calidad (DQ)
• Versionado (Git)
• Azure DevOps, Azure Pilelines
• Power Bi
RESPONSABILIDADES
• Desarrollar DAGs y operators reutilizables
• Crear ETLs robustas para todas las fuentes
• implementar extractores incrementales con paginación y límites de carga
• validar esquemas y calidad
• escribir transformaciones y cargas
• optimizar tiempos (chunking, paralelismo controlado, pools)
• manejo de errores y retries exponiendo métricas
• documentar interfaz, y automatizar pruebas (unit/integration).
• colaborar con el DBA para crear vistas materializadas o pre-aggregations según necesidades de Power BI
•realizar pruebas de carga
Cargando ofertas similares...