Масштабирование Python на Ray: от ноутбука до кластера

Я масштабирую Python-нагрузки на Ray, чтобы тяжёлые задачи использовали все доступные ядра, а не одну машину. Веду весь путь: распределённое обучение и подбор гиперпараметров, пакетную и потоковую обработку данных, обслуживание моделей с низкой задержкой и распараллеливание готового кода по кластеру. Принцип простой: вы переходите от ноутбука к кластеру без переписывания. Существующие функции становятся удалёнными задачами и акторами, а логика остаётся на месте.

Чаще всего ко мне приходят с кодом, который работает, но слишком медленно или на слишком малом объёме данных. Я профилирую, куда реально уходит время, решаю, что должно стать задачей, актором или датасетом. Разворачиваю Ray на вашем железе или в облаке, подключаю автоскейлинг, чтобы простаивающие узлы ничего не стоили, и делаю сбои восстановимыми. Для обучения опираюсь на Ray Train и Ray Tune, для конвейеров — на Ray Data, для онлайн-инференса — на Ray Serve с разумным батчингом и репликами.

Вы получаете читаемый код, развёртывание, которое запускается без меня, и понятные заметки по стоимости и пределам масштабирования. Я скорее уберу узкое место, чем добавлю фреймворк: если хватает multiprocessing, я так и скажу.