Оптимизация ML-моделей для быстрого и дешёвого инференса

Я беру уже работающие модели машинного обучения и делаю их значительно быстрее и легче для продакшена, не жертвуя точностью. Если модель верно предсказывает в ноутбуке, но слишком медленная, прожорливая по памяти или дорогая в обслуживании под нагрузкой, — это ровно та задача, которую я решаю. За годы работы я превратил десятки исследовательских прототипов в сервисы, отвечающие за миллисекунды вместо секунд, и в каждом проекте держусь одного принципа: сначала измерить, потом менять, а результат доказать цифрами, которым можно верить.

Я веду весь путь оптимизации целиком. Конвертирую модели в переносимые рантаймы вроде ONNX и TensorRT, применяю квантизацию в int8 или fp16, отсекаю избыточные веса и головы через прунинг, сливаю и упрощаю вычислительный граф, настраиваю развёртывание под ваше конкретное железо — будь то CPU-сервер, GPU в дата-центре или ограниченное edge-устройство. Каждый шаг проверяется на вашем собственном тестовом наборе, поэтому точность остаётся в заданном вами допуске. Я никогда не отдаю более быструю модель, которая тихо стала хуже: латентность, пропускную способность и качество я замеряю бок о бок до и после.

Вы получаете понятный отчёт: исходные цифры, цифры после оптимизации, точный список изменений и воспроизводимый конвейер, который можно перезапустить на новых версиях модели. Типичный результат — снижение задержки в два–восемь раз и такое же падение стоимости обслуживания при сохранённой точности. Назовите фреймворк, целевое железо и бюджет по задержке — и я честно скажу, что достижимо, ещё до старта работ.

— Конвертация в ONNX, TensorRT и другие рантаймы
— Квантизация (int8, fp16) и структурный либо неструктурный прунинг
— Оптимизация графа, слияние операторов и подбор раскладки
— Бенчмарки на CPU, GPU и edge с воспроизводимым отчётом