Projektbeschreibung
ÜbersetztDerzeit werden alle unsere Analysen durch langsame nächtliche Batches berechnet, und bis zum Morgen, wenn die Zahlen die Dashboards erreichen, sind sie bereits einen Tag veraltet. Wir müssen zu einer Echtzeit-Event-Stream-Verarbeitung auf Basis von Apache Kafka wechseln: Unsere Anwendungen und Dienste sollten Ereignisse veröffentlichen, sobald sie auftreten, die Verarbeitungsschicht sollte Streams in Echtzeit filtern, anreichern und aggregieren, und die Ergebnisse sollten in Sekunden, nicht in Stunden, in den Speicher und die Dashboards gelangen.
Der Arbeitsumfang ist eine voll funktionsfähige Pipeline. Wir müssen Themen für unsere Ereignistypen entwerfen, Produzenten in bestehende Anwendungen integrieren, eine Stream-Verarbeitungsstufe einrichten, die Streams zusammenführt und aggregiert, und Verbraucher schreiben, die Daten in unseren Speicher schreiben und Live-Metriken an betriebliche Dashboards liefern. Zuverlässigkeit ist uns ebenso wichtig wie Geschwindigkeit: Die Plattform sollte Broker-Neustarts und Verkehrsspitzen überstehen, ohne Nachrichten zu verlieren, klare Liefergarantien bieten und das Wiederholen der Historie von jedem Punkt ermöglichen, wenn wir einen neuen Verbraucher hinzufügen oder eine beschädigte Tabelle wiederherstellen.
Wir suchen einen Ingenieur, der Kafka in der Produktion aufgebaut und betrieben hat, nicht nur damit experimentiert hat. Bitte beschreiben Sie, welche Partitionierungs- und Speicherstrategie Sie für unser Volumen vorschlagen würden, wie Sie mit Änderungen des Ereignisschemas im Laufe der Zeit umgehen und wie Sie die Überwachung des Verbraucher-Rückstands und des Rückdrucks organisieren werden. Wir werden Beispiele für Ereignisse, die aktuelle Batch-Logik und den Zugang zu einer Testumgebung für Lasttests bereitstellen.
Der Arbeitsumfang ist eine voll funktionsfähige Pipeline. Wir müssen Themen für unsere Ereignistypen entwerfen, Produzenten in bestehende Anwendungen integrieren, eine Stream-Verarbeitungsstufe einrichten, die Streams zusammenführt und aggregiert, und Verbraucher schreiben, die Daten in unseren Speicher schreiben und Live-Metriken an betriebliche Dashboards liefern. Zuverlässigkeit ist uns ebenso wichtig wie Geschwindigkeit: Die Plattform sollte Broker-Neustarts und Verkehrsspitzen überstehen, ohne Nachrichten zu verlieren, klare Liefergarantien bieten und das Wiederholen der Historie von jedem Punkt ermöglichen, wenn wir einen neuen Verbraucher hinzufügen oder eine beschädigte Tabelle wiederherstellen.
Wir suchen einen Ingenieur, der Kafka in der Produktion aufgebaut und betrieben hat, nicht nur damit experimentiert hat. Bitte beschreiben Sie, welche Partitionierungs- und Speicherstrategie Sie für unser Volumen vorschlagen würden, wie Sie mit Änderungen des Ereignisschemas im Laufe der Zeit umgehen und wie Sie die Überwachung des Verbraucher-Rückstands und des Rückdrucks organisieren werden. Wir werden Beispiele für Ereignisse, die aktuelle Batch-Logik und den Zugang zu einer Testumgebung für Lasttests bereitstellen.
Design und Multimedia Bargeld, Banküberweisung
