Масштабування Python на Ray: від ноутбука до кластера

Я масштабую Python-навантаження на Ray, щоб важкі задачі використовували всі доступні ядра, а не одну машину. Беру на себе весь шлях: розподілене навчання й підбір гіперпараметрів, пакетну та потокову обробку даних, обслуговування моделей з низькою затримкою та розпаралелювання вже написаного коду по кластеру. Принцип простий: ви переходите від ноутбука до кластера без переписування. Наявні функції стають віддаленими задачами й акторами, а логіка лишається на місці.

Найчастіше до мене приходять із кодом, який працює, але надто повільно або на надто малому обсязі даних. Я профілюю, куди насправді йде час, вирішую, що має стати задачею, актором чи датасетом. Розгортаю Ray на вашому залізі або в хмарі, підключаю автоскейлінг, щоб вузли, які простоюють, нічого не коштували, і роблю збої відновлюваними. Для навчання спираюся на Ray Train і Ray Tune, для конвеєрів — на Ray Data, для онлайн-інференсу — на Ray Serve з розумним батчингом і репліками.

Ви отримуєте читабельний код, розгортання, що запускається без мене, і зрозумілі нотатки щодо вартості та меж масштабування. Я радше приберу вузьке місце, ніж додам фреймворк: якщо вистачає звичайного multiprocessing, я так і скажу.