Mise à l'échelle de Python sur Ray : du portable au cluster

Je mets à l'échelle les charges de travail Python sur Ray afin que les tâches lourdes utilisent tous les cœurs disponibles au lieu d'une seule machine. Je gère tout le processus : entraînement distribué et recherche d'hyperparamètres, traitement de données par lots et en streaming, service de modèles à faible latence, et parallélisation du code existant sur un cluster. Le principe est simple : vous passez du portable au cluster sans réécriture. Les fonctions existantes deviennent des tâches et des acteurs distants, la logique reste la même.

En général, j'obtiens du code qui fonctionne mais qui s'exécute trop lentement ou sur trop peu de données. Je profile où le temps est réellement dépensé, décide ce qui devrait être des tâches, des acteurs ou des ensembles de données. Je déploie Ray sur votre matériel ou dans le cloud, ajoute l'autoscaling pour que les nœuds inactifs ne coûtent rien, et rends les pannes récupérables. Pour l'entraînement, j'utilise Ray Train et Ray Tune, pour les pipelines Ray Data, pour l'inférence en ligne Ray Serve avec un traitement par lots intelligent et des répliques.

Vous obtenez un code lisible, un déploiement qui fonctionne sans moi, et des notes claires sur les coûts et les limites d'échelle. Je vais corriger un goulet d'étranglement plutôt que d'ajouter un cadre : si le multiprocessing suffit, je le dirai.