Descripción del proyecto
TraducidoActualmente, toda nuestra analítica se calcula mediante lotes nocturnos lentos, y por la mañana, cuando los números llegan a los paneles, ya están desactualizados un día. Necesitamos pasar a un procesamiento de flujo de eventos en tiempo real basado en Apache Kafka: nuestras aplicaciones y servicios deben publicar eventos a medida que ocurren, la capa de procesamiento debe filtrar, enriquecer y agregar flujos sobre la marcha, y los resultados deben llegar al almacenamiento y a los paneles en segundos, no en horas.
El alcance del trabajo es un pipeline de trabajo completo. Necesitamos diseñar temas para nuestros tipos de eventos, integrar productores en aplicaciones existentes, configurar una etapa de procesamiento de flujos que una y agregue flujos, y escribir consumidores que escriban datos en nuestro almacenamiento y entreguen métricas en vivo a los paneles operativos. La fiabilidad es tan importante para nosotros como la velocidad: la plataforma debe sobrevivir a reinicios de brokers y picos de tráfico sin perder mensajes, proporcionar garantías de entrega claras y permitir la reproducción de la historia desde cualquier punto cuando agreguemos un nuevo consumidor o recuperemos una tabla corrupta.
Estamos buscando un ingeniero que haya construido y operado Kafka en producción, no solo que haya experimentado con él. Por favor, describe qué estrategia de particionamiento y almacenamiento sugerirías para nuestro volumen, cómo manejarás los cambios en el esquema de eventos a lo largo del tiempo y cómo organizarás el monitoreo del retraso del consumidor y la presión de retroceso. Proporcionaremos ejemplos de eventos, lógica de lotes actual y acceso a un entorno de prueba para pruebas de carga.
El alcance del trabajo es un pipeline de trabajo completo. Necesitamos diseñar temas para nuestros tipos de eventos, integrar productores en aplicaciones existentes, configurar una etapa de procesamiento de flujos que una y agregue flujos, y escribir consumidores que escriban datos en nuestro almacenamiento y entreguen métricas en vivo a los paneles operativos. La fiabilidad es tan importante para nosotros como la velocidad: la plataforma debe sobrevivir a reinicios de brokers y picos de tráfico sin perder mensajes, proporcionar garantías de entrega claras y permitir la reproducción de la historia desde cualquier punto cuando agreguemos un nuevo consumidor o recuperemos una tabla corrupta.
Estamos buscando un ingeniero que haya construido y operado Kafka en producción, no solo que haya experimentado con él. Por favor, describe qué estrategia de particionamiento y almacenamiento sugerirías para nuestro volumen, cómo manejarás los cambios en el esquema de eventos a lo largo del tiempo y cómo organizarás el monitoreo del retraso del consumidor y la presión de retroceso. Proporcionaremos ejemplos de eventos, lógica de lotes actual y acceso a un entorno de prueba para pruebas de carga.
Diseño y multimedia Efectivo, Transferencia bancaria
