Оптимізація ML-моделей для швидкого й дешевого інференсу

Я беру уже працюючі моделі машинного навчання й роблю їх значно швидшими й легшими для продакшену, не жертвуючи точністю. Якщо модель правильно прогнозує в ноутбуці, але надто повільна, прожерлива за пам'яттю або дорога в обслуговуванні під навантаженням, — це ровесно та завдання, яку я вирішую. За роки роботи я перетворив десятки дослідницьких прототипів на сервіси, відповідальні за мілісекунди замість секунд, і в кожному проекті триматимусь одного принципу: спочатку виміряти, потім змінювати, а результат довести цифрами, яким можна вірити.

Я веду весь шлях оптимізації цілком. Конвертую моделі в портативні рантайми, як от ONNX і TensorRT, застосовую квантизацію в int8 або fp16, відсікаю надлишкові ваги й голови через прунінг, сливаю й спрощую обчислювальний граф, налаштовую розгортання під ваше конкретне залізо — чи то CPU-сервер, GPU у дата-центрі чи обмежений edge-пристрій. Кожен крок перевіряється на вашому власному тестовому наборі, тому точність залишається в заданому вами допуску. Я ніколи не відаю швидшу модель, яка тихо стала гіршою: латентність, пропускну здатність і якість я замеряю бік обік до й після.

Ви отримуєте зрозумілий звіт: вихідні цифри, цифри після оптимізації, точний список змін і відтворюваний конвейер, який можна перезапустити на нових версіях моделі. Типовий результат — зниження затримки в два–вісім разів й таке ж падіння вартості обслуговування при збереженій точності. Назвіть фреймворк, цільове залізо й бюджет за затримкою — і я чесно скажу, що досяжне, ще до старту робіт.

— Конвертація в ONNX, TensorRT й інші рантайми
— Квантизація (int8, fp16) й структурний чи неструктурний прунінг
— Оптимізація графа, слиття операторів і підбір розкладки
— Бенчмарки на CPU, GPU й edge з відтворюваним звітом