Descripción del proyecto
TraducidoNuestra empresa opera en varios sistemas desconectados, y en este momento nadie tiene una imagen única y confiable de lo que está sucediendo en todos ellos. Los datos de ventas viven en una base de datos, la información de facturación está disponible a través de una API de terceros, y algunos departamentos aún nos envían volcado de CSV cada semana. Necesito que alguien construya un pipeline ETL completo: extraer datos de todas estas fuentes, transformar y limpiar registros en bruto en un formato consistente único, y cargar todo en el almacén de datos central. Esto no es un panel de informes y no es una reescritura completa del backend; el entregable es exactamente una capa de integración de datos que funcione de manera confiable en segundo plano para que las herramientas posteriores siempre tengan números frescos y correctos.
Lo que más me importa es que el pipeline sea predecible y no corrompa nada en silencio. Quiero sincronizaciones incrementales en lugar de recargas completas siempre que la fuente lo permita, para que solo movamos cambios y mantengamos los trabajos rápidos a medida que aumenta el volumen. Cada ejecución debe incluir controles de calidad de datos que detecten campos faltantes, tipos rotos, claves duplicadas y filas que violen las reglas comerciales, y en tales casos emitir una alerta clara en lugar de escribir basura en silencio en el almacén. También me importa la idempotencia: si un trabajo falla a mitad de camino y se vuelve a ejecutar, no debe duplicar datos ni dejar el almacén en un estado medio cargado.
Por favor, documenta los mapeos de origen y la lógica de transformación para que mi equipo pueda mantener todo después de la entrega, y configura la ejecución programada sin mi supervisión constante. Dinos qué pila tecnológica propondrías y por qué.
— Extraer de múltiples fuentes: bases de datos SQL, APIs REST y CSV semanales
— Transformar y limpiar registros en un solo esquema sin duplicados
— Cargar en el almacén central con capas de preparación y finalización
— Sincronizaciones incrementales de filas cambiadas, no recargas completas
— Controles automáticos de calidad de datos con alertas de error
— Trabajos reiniciables idempotentes programados y documentación para la entrega
Lo que más me importa es que el pipeline sea predecible y no corrompa nada en silencio. Quiero sincronizaciones incrementales en lugar de recargas completas siempre que la fuente lo permita, para que solo movamos cambios y mantengamos los trabajos rápidos a medida que aumenta el volumen. Cada ejecución debe incluir controles de calidad de datos que detecten campos faltantes, tipos rotos, claves duplicadas y filas que violen las reglas comerciales, y en tales casos emitir una alerta clara en lugar de escribir basura en silencio en el almacén. También me importa la idempotencia: si un trabajo falla a mitad de camino y se vuelve a ejecutar, no debe duplicar datos ni dejar el almacén en un estado medio cargado.
Por favor, documenta los mapeos de origen y la lógica de transformación para que mi equipo pueda mantener todo después de la entrega, y configura la ejecución programada sin mi supervisión constante. Dinos qué pila tecnológica propondrías y por qué.
— Extraer de múltiples fuentes: bases de datos SQL, APIs REST y CSV semanales
— Transformar y limpiar registros en un solo esquema sin duplicados
— Cargar en el almacén central con capas de preparación y finalización
— Sincronizaciones incrementales de filas cambiadas, no recargas completas
— Controles automáticos de calidad de datos con alertas de error
— Trabajos reiniciables idempotentes programados y documentación para la entrega
Otros / Varios Efectivo, Transferencia bancaria
