Acerca del servicio
TraducidoSoy un ingeniero de datos que vive dentro de flujos de eventos, y Apache Kafka es la base de casi todo lo que construyo. Cuando tus servicios necesitan comunicarse sin esperar, cuando la analítica debe reaccionar en segundos y no en lotes nocturnos, o cuando simplemente no puedes permitirte perder un solo mensaje — estos son exactamente los problemas que asumo. He guiado clústeres de Kafka desde el primer prototipo hasta manejar tráfico de millones de eventos por hora y sé dónde se esconden los bordes afilados.
Mi trabajo comienza con los datos en sí. Modela el dominio como eventos, decido qué pertenece a un tema y qué no, y elijo una clave de particionamiento para preservar las garantías de orden mientras distribuyo la carga de manera uniforme entre los brokers. Luego construyo el flujo en sí: productores ajustados para rendimiento o fiabilidad, grupos de consumidores dimensionados para la carga, y trabajos de procesamiento de flujos en Kafka Streams o Flink que unen, agregan y enriquecen datos sobre la marcha. Tomo en serio la semántica de exactamente una vez: productores idempotentes y escrituras transaccionales para que los reintentos nunca se conviertan en duplicados aguas abajo.
Más allá del camino feliz, me preocupo por lo que me quita el sueño. Levanto un registro de esquemas para que productores y consumidores evolucionen sin romperse entre sí, construyo tuberías de Kafka Connect para bombear datos hacia bases de datos y almacenes de objetos y de vuelta, y configuro colas de mensajes no entregados, monitoreo y alertas de retraso de consumidores antes de que algo llegue a producción. Ya sea que estés comenzando desde cero o rescatando una tubería frágil que pierde mensajes — te ayudaré a construir algo en lo que realmente puedas confiar.
— Diseño de clúster de Kafka, estrategia de temas y particiones, ajuste de retención
— Productores y grupos de consumidores, gestión de desplazamientos, reequilibrio
— Procesamiento de flujos con Kafka Streams y Apache Flink
— Semántica de exactamente una vez, escrituras idempotentes y transaccionales
— Kafka Connect, registro de esquemas, Avro y Protobuf
— Monitoreo, alertas de retraso de consumidores y manejo de mensajes no entregados
Mi trabajo comienza con los datos en sí. Modela el dominio como eventos, decido qué pertenece a un tema y qué no, y elijo una clave de particionamiento para preservar las garantías de orden mientras distribuyo la carga de manera uniforme entre los brokers. Luego construyo el flujo en sí: productores ajustados para rendimiento o fiabilidad, grupos de consumidores dimensionados para la carga, y trabajos de procesamiento de flujos en Kafka Streams o Flink que unen, agregan y enriquecen datos sobre la marcha. Tomo en serio la semántica de exactamente una vez: productores idempotentes y escrituras transaccionales para que los reintentos nunca se conviertan en duplicados aguas abajo.
Más allá del camino feliz, me preocupo por lo que me quita el sueño. Levanto un registro de esquemas para que productores y consumidores evolucionen sin romperse entre sí, construyo tuberías de Kafka Connect para bombear datos hacia bases de datos y almacenes de objetos y de vuelta, y configuro colas de mensajes no entregados, monitoreo y alertas de retraso de consumidores antes de que algo llegue a producción. Ya sea que estés comenzando desde cero o rescatando una tubería frágil que pierde mensajes — te ayudaré a construir algo en lo que realmente puedas confiar.
— Diseño de clúster de Kafka, estrategia de temas y particiones, ajuste de retención
— Productores y grupos de consumidores, gestión de desplazamientos, reequilibrio
— Procesamiento de flujos con Kafka Streams y Apache Flink
— Semántica de exactamente una vez, escrituras idempotentes y transaccionales
— Kafka Connect, registro de esquemas, Avro y Protobuf
— Monitoreo, alertas de retraso de consumidores y manejo de mensajes no entregados
