Wyszukiwanie semantyczne wektora w naszym katalogu i bazie wiedzy

Mamy dużą bibliotekę treści—katalog produktów, artykuły pomocnicze i dokumenty wewnętrzne—i nasze obecne wyszukiwanie słów kluczowych ciągle nas zawodzi. Znajduje dokładne słowa, ale nie rozumie znaczenia: klient pisze 'nie mogę się zalogować' i nie znajdujemy artykułu 'rozwiązywanie problemów z autoryzacją', ponieważ sformułowanie się nie zgadza. Synonimy, parafrazy i różne pisownie po prostu umykają, a wsparcie jest zalewane pytaniami, na które odpowiedzi już są na stronie. Potrzebujemy wyszukiwania, które rozumie intencje, a nie tylko dosłowne słowa.

Szukamy inżyniera, który zbuduje system wyszukiwania semantycznego (wektora) na bazie naszej istniejącej treści. Oznacza to: generowanie osadzeń dla każdego indeksowanego obiektu, przechowywanie tych wektorów w odpowiedniej bazie danych wektorów i obsługiwanie zapytań przez przejrzyste API, które nasze aplikacje mogą wywoływać. Oczekujemy hybrydowego rankingowania, które łączy klasyczne dopasowanie słów kluczowych z podobieństwem wektorów—tak aby dokładne dopasowania były na górze, gdy to odpowiednie, ale semantycznie bliskie wyniki wypływały, gdy sformułowanie się różni. Dostosowywanie trafności ma dla nas znaczenie: chcemy analizować rzeczywiste logi zapytań, dostosowywać wagi i progi oraz mierzyć, czy najlepsze wyniki są rzeczywiście lepsze.

Aby wyjaśnić zakres: to jest system wyszukiwania i rankingowania, a nie chatbot—generatywny asystent, który pisze własne odpowiedzi, którego nie potrzebujemy. Potrzebujemy rankingowania świadomego znaczenia, udokumentowanego API, pipeline'u indeksowania, który utrzymuje osadzenia aktualne w miarę zmiany treści, oraz rekomendacji, który model osadzenia i baza danych wektorów odpowiadają naszej objętości i budżetowi.

Czego chcemy się doczekać:
— pipeline'u osadzeń dla katalogu i dokumentów;
— bazy danych wektorów z hybrydowym rankingowaniem (słowa kluczowe + wektory);
— API wyszukiwania z filtrami, paginacją i kontrolą trafności.