Масштабування Python на Ray: від ноутбука до кластера

Я масштабую Python-навантаження на Ray, щоб важкі завдання використовували всі доступні ядра, а не одну машину. Веду весь шлях: розподілене навчання й підбір гіперпараметрів, пакетну й потокову обробку даних, обслуговування моделей з низькою затримкою й розпаралелювання готового коду по кластеру. Принцип простий: ви переходите від ноутбука до кластера без перепису. Існуючі функції стають віддаленими завданнями й акторами, а логіка залишається на місці.

Найчастіше до мене приходять з кодом, який працює, але надто повільно або на надто малому обсягу даних. Я профілюю, куди реально йде час, вирішую, що має стати завданням, актором або датасетом. Розгортаю Ray на вашому залізі або в хмарі, підключаю автоскейлінг, щоб простійні вузли нічого не коштували, й роблю збої відновлюваними. Для навчання спираюсь на Ray Train і Ray Tune, для конвейерів — на Ray Data, для онлайн-інференсу — на Ray Serve з розумним батчингом і репліками.

Ви отримуєте читаний код, розгортання, яке запускається без мене, і зрозумілі нотатки за вартістю й межами масштабування. Я скоріше позбавлюся вузького місця, ніж додам фреймворк: якщо хватає multiprocessing, я так і скажу.