Sobre o serviço
TraduzidoEu projeto e construo pipelines em tempo real que movem seu negócio de exportações em lotes noturnos para streams de eventos ao vivo. No núcleo está o Apache Kafka como um barramento de ingestão de dados confiável e de alto desempenho, e em cima eu conecto Flink ou Spark Streaming onde o processamento com estado é necessário: agregações com janelas, junções de streams, detecção de eventos complexos. Como resultado, os dados chegam, são processados e alcançam seu armazém de dados ou painéis em segundos, não em horas, e sua equipe para de esperar pelo relatório da manhã — eles respondem ao que está acontecendo agora.
Eu lidero a tarefa do início ao fim. Eu configuro a ingestão de eventos de suas aplicações, bancos de dados e sistemas de terceiros, conecto os conectores necessários para que a captura de dados de mudança, logs e cliques fluam de forma limpa e sem perda. Eu defino esquemas e crio um registro de esquemas para que produtores e consumidores não quebrem uns aos outros silenciosamente. Eu escolho particionamento, período de retenção e grupos de consumidores para sua carga real. Onde a correção é importante, eu implemento entrega exatamente uma vez através de produtores idempotentes e gravações transacionais — tentativas não se transformarão em cobranças duplicadas ou métricas dobradas.
Igualmente importante é que o pipeline se torne gerenciável e confiável em produção. Eu adiciono monitoramento de latência e throughput, alertas sobre atraso do consumidor, filas de mensagens mortas e instruções claras para que o engenheiro de plantão saiba exatamente o que fazer às 3 da manhã. Eu documento a topologia, entrego infraestrutura como código e guio sua equipe pelo sistema para que você não fique preso a mim. Anti-fraude, análises ao vivo, telemetria de dispositivos ou um barramento de eventos entre serviços — eu entrego um pipeline que é rápido, observável e verdadeiramente pronto para a batalha.
O que normalmente entra no trabalho:
— Design de cluster Kafka: tópicos, particionamento e retenção para sua carga
— Conectores e captura de mudanças de bancos de dados, aplicações e serviços externos
— Processamento de streams no Flink ou Spark Streaming: janelas, junções, estado
— Garantia exatamente uma vez, manuseio de mensagens mortas, monitoramento e alertas
Eu lidero a tarefa do início ao fim. Eu configuro a ingestão de eventos de suas aplicações, bancos de dados e sistemas de terceiros, conecto os conectores necessários para que a captura de dados de mudança, logs e cliques fluam de forma limpa e sem perda. Eu defino esquemas e crio um registro de esquemas para que produtores e consumidores não quebrem uns aos outros silenciosamente. Eu escolho particionamento, período de retenção e grupos de consumidores para sua carga real. Onde a correção é importante, eu implemento entrega exatamente uma vez através de produtores idempotentes e gravações transacionais — tentativas não se transformarão em cobranças duplicadas ou métricas dobradas.
Igualmente importante é que o pipeline se torne gerenciável e confiável em produção. Eu adiciono monitoramento de latência e throughput, alertas sobre atraso do consumidor, filas de mensagens mortas e instruções claras para que o engenheiro de plantão saiba exatamente o que fazer às 3 da manhã. Eu documento a topologia, entrego infraestrutura como código e guio sua equipe pelo sistema para que você não fique preso a mim. Anti-fraude, análises ao vivo, telemetria de dispositivos ou um barramento de eventos entre serviços — eu entrego um pipeline que é rápido, observável e verdadeiramente pronto para a batalha.
O que normalmente entra no trabalho:
— Design de cluster Kafka: tópicos, particionamento e retenção para sua carga
— Conectores e captura de mudanças de bancos de dados, aplicações e serviços externos
— Processamento de streams no Flink ou Spark Streaming: janelas, junções, estado
— Garantia exatamente uma vez, manuseio de mensagens mortas, monitoramento e alertas
