Sobre o serviço
TraduzidoEu escalo cargas de trabalho em Python no Ray para que tarefas pesadas usem todos os núcleos disponíveis em vez de uma única máquina. Eu controlo todo o caminho: treinamento distribuído e busca de hiperparâmetros, processamento de dados em lote e em streaming, serviço de modelo de baixa latência e paralelização de código existente em um cluster. O princípio é simples: você se move do laptop para o cluster sem reescrever. Funções existentes se tornam tarefas remotas e atores, a lógica permanece a mesma.
Normalmente, eu recebo código que funciona, mas roda muito devagar ou com poucos dados. Eu perfilo onde o tempo realmente vai, decido o que deve ser tarefas, atores ou conjuntos de dados. Eu implanto o Ray no seu hardware ou na nuvem, adiciono escalonamento automático para que nós ociosos não custem nada e faço com que falhas sejam recuperáveis. Para treinamento, eu uso Ray Train e Ray Tune, para pipelines Ray Data, para inferência online Ray Serve com agrupamento inteligente e réplicas.
Você obtém código legível, uma implantação que roda sem mim e notas claras sobre custos e limites de escalonamento. Vou corrigir um gargalo em vez de adicionar um framework: se a multiprocessamento for suficiente, eu direi isso.
Normalmente, eu recebo código que funciona, mas roda muito devagar ou com poucos dados. Eu perfilo onde o tempo realmente vai, decido o que deve ser tarefas, atores ou conjuntos de dados. Eu implanto o Ray no seu hardware ou na nuvem, adiciono escalonamento automático para que nós ociosos não custem nada e faço com que falhas sejam recuperáveis. Para treinamento, eu uso Ray Train e Ray Tune, para pipelines Ray Data, para inferência online Ray Serve com agrupamento inteligente e réplicas.
Você obtém código legível, uma implantação que roda sem mim e notas claras sobre custos e limites de escalonamento. Vou corrigir um gargalo em vez de adicionar um framework: se a multiprocessamento for suficiente, eu direi isso.
