项目描述
翻译我们正在寻找一位工程师,在我们现有内容的基础上构建一个语义(向量)搜索系统。这意味着:为每个索引对象生成嵌入,将这些向量存储在适当的向量数据库中,并通过我们应用程序可以调用的清晰 API 提供查询。我们期望混合排名,结合经典的关键词匹配和向量相似性——因此在适当情况下,确切匹配保持在顶部,但当措辞不同时,语义上接近的结果会浮现。相关性调整对我们很重要:我们希望解析真实的查询日志,调整权重和阈值,并测量顶级结果是否真的更好。
明确范围:这是一个搜索和排名系统,而不是聊天机器人——我们不需要一个生成自己答案的助手。我们需要意义感知的排名,文档化的 API,一个在内容变化时保持嵌入最新的索引管道,以及关于哪个嵌入模型和向量存储适合我们的量和预算的建议。
我们想要得到的:
— 一个用于目录和文档的嵌入管道;
— 一个具有混合排名(关键词 + 向量)的向量数据库;
— 一个具有过滤器、分页和相关性控制的搜索 API。