Descrição do projeto
TraduzidoNossa empresa opera em vários sistemas desconectados, e neste momento ninguém tem uma visão única e confiável do que está acontecendo em todos eles. Os dados de vendas estão em um banco de dados, as informações de faturamento estão disponíveis através de uma API de terceiros, e alguns departamentos ainda nos enviam dumps CSV toda semana. Preciso de alguém para construir um pipeline ETL completo: extrair dados de todas essas fontes, transformar e limpar registros brutos em um único formato consistente e carregar tudo no armazém de dados central. Isso não é um painel de relatórios e não é uma reescrita completa do backend; o entregável é exatamente uma camada de integração de dados que funcione de forma confiável em segundo plano, para que as ferramentas a jusante tenham sempre números atualizados e corretos.
O que mais importa para mim é que o pipeline seja previsível e não corrompa nada silenciosamente. Quero sincronizações incrementais em vez de recarregamentos completos sempre que a fonte permitir, para que apenas movamos as mudanças e mantenhamos os trabalhos rápidos à medida que o volume cresce. Cada execução deve incluir verificações de qualidade de dados que detectem campos ausentes, tipos quebrados, chaves duplicadas e linhas que violam regras de negócios, e em tais casos emitir um alerta claro em vez de escrever lixo silenciosamente no armazém. Também me preocupo com idempotência: se um trabalho falhar no meio e for reiniciado, não deve duplicar dados ou deixar o armazém em um estado meio carregado.
Por favor, documente os mapeamentos de origem e a lógica de transformação para que minha equipe possa manter tudo após a entrega, e configure a execução programada sem minha supervisão constante. Diga-nos qual stack tecnológica você proporia e por quê.
— Extrair de várias fontes: bancos de dados SQL, APIs REST e CSVs semanais
— Transformar e limpar registros em um único esquema sem duplicatas
— Carregar no armazém central com camadas de preparação e finalização
— Sincronizações incrementais de linhas alteradas, não recarregamentos completos
— Verificações automáticas de qualidade de dados com alertas de erro
— Trabalhos idempotentes reiniciáveis conforme programado e documentação para entrega
O que mais importa para mim é que o pipeline seja previsível e não corrompa nada silenciosamente. Quero sincronizações incrementais em vez de recarregamentos completos sempre que a fonte permitir, para que apenas movamos as mudanças e mantenhamos os trabalhos rápidos à medida que o volume cresce. Cada execução deve incluir verificações de qualidade de dados que detectem campos ausentes, tipos quebrados, chaves duplicadas e linhas que violam regras de negócios, e em tais casos emitir um alerta claro em vez de escrever lixo silenciosamente no armazém. Também me preocupo com idempotência: se um trabalho falhar no meio e for reiniciado, não deve duplicar dados ou deixar o armazém em um estado meio carregado.
Por favor, documente os mapeamentos de origem e a lógica de transformação para que minha equipe possa manter tudo após a entrega, e configure a execução programada sem minha supervisão constante. Diga-nos qual stack tecnológica você proporia e por quê.
— Extrair de várias fontes: bancos de dados SQL, APIs REST e CSVs semanais
— Transformar e limpar registros em um único esquema sem duplicatas
— Carregar no armazém central com camadas de preparação e finalização
— Sincronizações incrementais de linhas alteradas, não recarregamentos completos
— Verificações automáticas de qualidade de dados com alertas de erro
— Trabalhos idempotentes reiniciáveis conforme programado e documentação para entrega
Outros / Diversos Dinheiro, Transferência bancária
