Pipeline strumieniowy w czasie rzeczywistym na Apache Kafka

Obecnie wszystkie nasze analizy są obliczane przez wolne nocne wsady, a rano, gdy liczby docierają do pulpitów nawigacyjnych, są już o dzień spóźnione. Musimy przejść do przetwarzania strumieni zdarzeń w czasie rzeczywistym opartego na Apache Kafka: nasze aplikacje i usługi powinny publikować zdarzenia w miarę ich występowania, warstwa przetwarzania powinna filtrować, wzbogacać i agregować strumienie na bieżąco, a wyniki powinny docierać do pamięci i pulpitów nawigacyjnych w ciągu sekund, a nie godzin.

Zakres prac to w pełni funkcjonalny pipeline. Musimy zaprojektować tematy dla naszych typów zdarzeń, zintegrować producentów z istniejącymi aplikacjami, ustawić etap przetwarzania strumieni, który łączy i agreguje strumienie, oraz napisać konsumentów, którzy zapisują dane w naszej pamięci i dostarczają na żywo metryki do pulpitów operacyjnych. Niezawodność jest dla nas tak samo ważna jak prędkość: platforma powinna przetrwać ponowne uruchomienia brokerów i szczyty ruchu bez utraty wiadomości, zapewniać jasne gwarancje dostawy i umożliwiać odtwarzanie historii z dowolnego punktu, gdy dodajemy nowego konsumenta lub odzyskujemy uszkodzoną tabelę.

Szukamy inżyniera, który zbudował i obsługiwał Kafka w produkcji, a nie tylko eksperymentował z nim. Proszę opisać, jaką strategię partycjonowania i przechowywania byś zaproponował dla naszej objętości, jak poradzisz sobie ze zmianami schematu zdarzeń w czasie i jak zorganizujesz monitorowanie opóźnienia konsumenta i ciśnienia zwrotnego. Dostarczymy przykłady zdarzeń, aktualną logikę wsadową i dostęp do środowiska testowego do testów obciążeniowych.