Sobre o serviço
TraduzidoEu projeto e opero bancos de dados distribuídos de colunas largas no Apache Cassandra e ScyllaDB, e sempre começo com uma coisa: suas consultas. Antes de iniciar um nó, eu mapeio todos os caminhos de leitura e gravação que seu aplicativo realmente precisa, e então construo um modelo de dados em torno desses padrões de acesso. No armazenamento orientado a colunas, a tabela segue a consulta, então eu desnormalizo deliberadamente, escolho chaves de partição com distribuição de anel uniforme e seleciono colunas de agrupamento que colocam leituras quentes em uma partição.
Então eu ajusto o cluster para suportar tráfego real. Eu defino o fator de replicação e os níveis de consistência de acordo com seu orçamento para confiabilidade e latência, limito o tamanho da partição, escolho a estratégia de compactação para sua carga — séries temporais, log de eventos ou chave-valor de alta rotatividade. Eu mantenho os pipelines de gravação em dezenas de milhares de ops/sec sem interrupções durante flushes e compactação, e a latência de cauda previsível: partições largas, tombstones e shards quentes que eu capturo cedo. No ScyllaDB, eu uso arquitetura de shard por núcleo e extraio significativamente mais throughput do mesmo hardware.
Eu também cuido das tarefas que quebram clusters às 3 da manhã: agendamento de reparos, substituição de nós, replicação entre DCs, planejamento de capacidade e migrações de bancos de dados relacionais que pararam de escalar. No final — um banco de dados que absorve picos e cresce adicionando nós.
— Modelagem de dados a partir de consultas e design de partição
— Replicação, consistência e ajuste de compactação
— Alta taxa de gravação e latência previsível
— Reparação, substituição de nós e configuração multi-DC
Então eu ajusto o cluster para suportar tráfego real. Eu defino o fator de replicação e os níveis de consistência de acordo com seu orçamento para confiabilidade e latência, limito o tamanho da partição, escolho a estratégia de compactação para sua carga — séries temporais, log de eventos ou chave-valor de alta rotatividade. Eu mantenho os pipelines de gravação em dezenas de milhares de ops/sec sem interrupções durante flushes e compactação, e a latência de cauda previsível: partições largas, tombstones e shards quentes que eu capturo cedo. No ScyllaDB, eu uso arquitetura de shard por núcleo e extraio significativamente mais throughput do mesmo hardware.
Eu também cuido das tarefas que quebram clusters às 3 da manhã: agendamento de reparos, substituição de nós, replicação entre DCs, planejamento de capacidade e migrações de bancos de dados relacionais que pararam de escalar. No final — um banco de dados que absorve picos e cresce adicionando nós.
— Modelagem de dados a partir de consultas e design de partição
— Replicação, consistência e ajuste de compactação
— Alta taxa de gravação e latência previsível
— Reparação, substituição de nós e configuração multi-DC
