Оптимізація ML-моделей для швидкого й дешевого інференсу

Я беру вже працюючі моделі машинного навчання і роблю їх значно швидшими та легшими для продакшену, не жертвуючи точністю. Якщо модель правильно прогнозує в ноутбуці, але надто повільна, ненажерлива до пам'яті або дорога в обслуговуванні під навантаженням, — це саме те завдання, яке я розв'язую. За роки роботи я перетворив десятки дослідницьких прототипів на сервіси, що відповідають за мілісекунди замість секунд, і в кожному проєкті тримаюся одного принципу: спершу виміряти, потім змінювати, а результат довести цифрами, яким можна вірити.

Я веду весь шлях оптимізації повністю. Конвертую моделі в переносні рантайми на кшталт ONNX і TensorRT, застосовую квантизацію в int8 або fp16, відсікаю надлишкові ваги й голови через прунінг, зливаю та спрощую обчислювальний граф, налаштовую розгортання під ваше конкретне залізо — чи то CPU-сервер, чи то GPU в дата-центрі, чи обмежений edge-пристрій. Кожен крок перевіряється на вашому власному тестовому наборі, тому точність лишається в заданому вами допуску. Я ніколи не віддаю швидшу модель, яка тихо стала гіршою: затримку, пропускну здатність і якість я вимірюю пліч-о-пліч до та після.

Ви отримуєте зрозумілий звіт: вихідні цифри, цифри після оптимізації, точний перелік змін і відтворюваний конвеєр, який можна перезапустити на нових версіях моделі. Типовий результат — зниження затримки у два–вісім разів і таке саме падіння вартості обслуговування зі збереженою точністю. Назвіть фреймворк, цільове залізо та бюджет за затримкою — і я чесно скажу, що досяжно, ще до старту робіт.

— Конвертація в ONNX, TensorRT та інші рантайми
— Квантизація (int8, fp16) та структурний чи неструктурний прунінг
— Оптимізація графа, злиття операторів і підбір розкладки
— Бенчмарки на CPU, GPU та edge з відтворюваним звітом