Description du projet
TraduitActuellement, toutes nos analyses sont calculées par des lots nocturnes lents, et le matin, lorsque les chiffres atteignent les tableaux de bord, ils sont déjà obsolètes d'un jour. Nous devons passer à un traitement de flux d'événements en temps réel basé sur Apache Kafka : nos applications et services doivent publier des événements au fur et à mesure qu'ils se produisent, la couche de traitement doit filtrer, enrichir et agréger les flux à la volée, et les résultats doivent atteindre le stockage et les tableaux de bord en quelques secondes, pas en heures.
L'étendue du travail est un pipeline opérationnel complet. Nous devons concevoir des sujets pour nos types d'événements, intégrer des producteurs dans les applications existantes, mettre en place une étape de traitement de flux qui joint et agrège les flux, et écrire des consommateurs qui écrivent des données dans notre stockage et livrent des métriques en direct aux tableaux de bord opérationnels. La fiabilité est aussi importante pour nous que la vitesse : la plateforme doit survivre aux redémarrages de courtier et aux pics de trafic sans perdre de messages, fournir des garanties de livraison claires et permettre de rejouer l'historique à partir de n'importe quel point lorsque nous ajoutons un nouveau consommateur ou récupérons une table corrompue.
Nous recherchons un ingénieur qui a construit et opéré Kafka en production, pas seulement expérimenté avec. Veuillez décrire quelle stratégie de partitionnement et de stockage vous suggéreriez pour notre volume, comment vous gérerez les changements de schéma d'événements au fil du temps et comment vous organiserez la surveillance du retard des consommateurs et de la contre-pression. Nous fournirons des exemples d'événements, la logique de lot actuelle et l'accès à un environnement de test pour les tests de charge.
L'étendue du travail est un pipeline opérationnel complet. Nous devons concevoir des sujets pour nos types d'événements, intégrer des producteurs dans les applications existantes, mettre en place une étape de traitement de flux qui joint et agrège les flux, et écrire des consommateurs qui écrivent des données dans notre stockage et livrent des métriques en direct aux tableaux de bord opérationnels. La fiabilité est aussi importante pour nous que la vitesse : la plateforme doit survivre aux redémarrages de courtier et aux pics de trafic sans perdre de messages, fournir des garanties de livraison claires et permettre de rejouer l'historique à partir de n'importe quel point lorsque nous ajoutons un nouveau consommateur ou récupérons une table corrompue.
Nous recherchons un ingénieur qui a construit et opéré Kafka en production, pas seulement expérimenté avec. Veuillez décrire quelle stratégie de partitionnement et de stockage vous suggéreriez pour notre volume, comment vous gérerez les changements de schéma d'événements au fil du temps et comment vous organiserez la surveillance du retard des consommateurs et de la contre-pression. Nous fournirons des exemples d'événements, la logique de lot actuelle et l'accès à un environnement de test pour les tests de charge.
Design et multimédia Espèces, Virement bancaire
