Pipeline de streaming em tempo real no Apache Kafka

Atualmente, todas as nossas análises são calculadas por lotes noturnos lentos, e pela manhã, quando os números chegam aos painéis, já estão desatualizados em um dia. Precisamos migrar para o processamento de streams de eventos em tempo real baseado no Apache Kafka: nossas aplicações e serviços devem publicar eventos à medida que ocorrem, a camada de processamento deve filtrar, enriquecer e agregar streams em tempo real, e os resultados devem chegar ao armazenamento e aos painéis em segundos, não em horas.

O escopo do trabalho é um pipeline de trabalho completo. Precisamos projetar tópicos para nossos tipos de eventos, integrar produtores nas aplicações existentes, configurar uma etapa de processamento de streams que una e agregue streams, e escrever consumidores que gravem dados em nosso armazenamento e entreguem métricas ao vivo para painéis operacionais. A confiabilidade é tão importante para nós quanto a velocidade: a plataforma deve sobreviver a reinicializações de brokers e picos de tráfego sem perder mensagens, fornecer garantias claras de entrega e permitir a reprodução de histórico a partir de qualquer ponto quando adicionamos um novo consumidor ou recuperamos uma tabela corrompida.

Estamos procurando um engenheiro que tenha construído e operado Kafka em produção, não apenas experimentado. Por favor, descreva qual estratégia de particionamento e armazenamento você sugeriria para nosso volume, como você lidará com mudanças no esquema de eventos ao longo do tempo e como você organizará o monitoramento do atraso do consumidor e da pressão reversa. Forneceremos exemplos de eventos, lógica de lote atual e acesso a um ambiente de teste para testes de carga.