Descrizione del progetto
TradottoAttualmente tutte le nostre analisi vengono calcolate da batch notturni lenti, e al mattino, quando i numeri raggiungono le dashboard, sono già obsoleti di un giorno. Dobbiamo passare all'elaborazione di flussi di eventi in tempo reale basata su Apache Kafka: le nostre applicazioni e servizi dovrebbero pubblicare eventi man mano che si verificano, il livello di elaborazione dovrebbe filtrare, arricchire e aggregare i flussi al volo, e i risultati dovrebbero raggiungere storage e dashboard in secondi, non in ore.
L'ambito di lavoro è una pipeline operativa completa. Dobbiamo progettare argomenti per i nostri tipi di eventi, integrare i produttori nelle applicazioni esistenti, impostare una fase di elaborazione dei flussi che unisca e aggrega i flussi, e scrivere consumatori che scrivano dati nel nostro storage e forniscano metriche in tempo reale ai dashboard operativi. L'affidabilità è per noi importante quanto la velocità: la piattaforma dovrebbe sopravvivere ai riavvii dei broker e ai picchi di traffico senza perdere messaggi, fornire chiare garanzie di consegna e consentire la riproduzione della cronologia da qualsiasi punto quando aggiungiamo un nuovo consumatore o recuperiamo una tabella corrotta.
Stiamo cercando un ingegnere che abbia costruito e gestito Kafka in produzione, non solo sperimentato. Si prega di descrivere quale strategia di partizionamento e storage suggeriresti per il nostro volume, come gestirai le modifiche allo schema degli eventi nel tempo e come organizzerai il monitoraggio del ritardo dei consumatori e della contropressione. Forniremo esempi di eventi, logica batch attuale e accesso a un ambiente di test per il carico di test.
L'ambito di lavoro è una pipeline operativa completa. Dobbiamo progettare argomenti per i nostri tipi di eventi, integrare i produttori nelle applicazioni esistenti, impostare una fase di elaborazione dei flussi che unisca e aggrega i flussi, e scrivere consumatori che scrivano dati nel nostro storage e forniscano metriche in tempo reale ai dashboard operativi. L'affidabilità è per noi importante quanto la velocità: la piattaforma dovrebbe sopravvivere ai riavvii dei broker e ai picchi di traffico senza perdere messaggi, fornire chiare garanzie di consegna e consentire la riproduzione della cronologia da qualsiasi punto quando aggiungiamo un nuovo consumatore o recuperiamo una tabella corrotta.
Stiamo cercando un ingegnere che abbia costruito e gestito Kafka in produzione, non solo sperimentato. Si prega di descrivere quale strategia di partizionamento e storage suggeriresti per il nostro volume, come gestirai le modifiche allo schema degli eventi nel tempo e come organizzerai il monitoraggio del ritardo dei consumatori e della contropressione. Forniremo esempi di eventi, logica batch attuale e accesso a un ambiente di test per il carico di test.
Design e multimedia Contante, Bonifico bancario
