Описание проекта
Ищем инженера, который построит систему семантического (векторного) поиска поверх нашего существующего контента. Это значит: сгенерировать эмбеддинги для каждого индексируемого объекта, хранить эти векторы в нормальной векторной базе данных и отдавать запросы через понятный API, к которому смогут обращаться наши приложения. Ждём гибридное ранжирование, которое сочетает классическое совпадение по ключевым словам с векторной близостью, — чтобы точные совпадения по-прежнему были наверху, когда это уместно, а близкие по смыслу результаты всплывали, когда формулировки расходятся. Для нас важна настройка релевантности: хотим разобрать реальные логи запросов, подстроить веса и пороги и измерить, стали ли верхние результаты действительно лучше.
Чтобы не было путаницы в объёме: это система поиска и выдачи, а не чат-бот — генеративный ассистент, который сам пишет ответы, нам не нужен. Нужны ранжирование с учётом смысла, документированный API, конвейер индексации, который держит эмбеддинги в актуальном состоянии при изменении контента, и рекомендация, какая модель эмбеддингов и какое векторное хранилище подходят под наш объём и бюджет.
Что хотим получить:
— конвейер эмбеддингов для каталога и документов;
— векторную базу с гибридным ранжированием (ключевые слова + векторы);
— поисковый API с фильтрами, пагинацией и управлением релевантностью.