Інженер з навчання з підкріпленням: агенти для керування та оптимізації

Я розробляю рішення на навчанні з підкріпленням для задач керування, оптимізації та прийняття рішень та веду проект від розпливчастої ідеї до агента, який стабільно покращує ваш процес. Робота майже завжди починається з найскладнішого та недооціненого етапу — коректної постановки задачі. Ми разом визначаємо стан, дії та, головне, награду, тому що погано задана функція вознаграджування породжує агента, який обманює метрику замість того, щоб розв'язувати задачу. Я проектую середовища та симулятори, достатньо близькі до вашої реальної динаміки, щоб у них можна було навчатися, та перевіряю, що вивчена в симуляції поведінка справді переносится у продакшн.

З алгоритмами я виходжу з вашої задачі, а не з моди. Для безперервного керування звичайно беру PPO або SAC, для дискретних та комбінаторних рішень — DQN та його сучасні варіанти, а в контекстних постановках чесніше обережно налаштовані бандити, ніж переускладнена архітектура. Я закриваю весь цикл навчання: векторизовані середовища, шейпінг награди, curriculum, підбір гіперпараметрів та чесна оцінка проти сильних бейзлайнів, щоб ви бачили реальний приріст, а не вибрану вручну красиву криву.

Окремо я ставлюсь до впровадження, тому що саме на ньому тихо умирає більшість RL-проектів. Я вивантажую політику в легкий формат для інференса, додаю обмеження безпеки та запасні сценарії для нетипових станів, налаштовую моніторинг та переобучення по мірі дрейфу даних. На виході ви отримуєте працюючого агента, чистий код, документацію та передачу проекту вашій команді.

— Проектування середовищ та функцій награди, симулятори
— PPO, SAC, DQN, контекстні бандити, offline RL
— Навчання, тюнінг, порівняння з бейзлайнами
— Впровадження, обмеження безпеки, моніторинг