带引用的内部AI助手用于知识库（RAG）

我们的团队每周花费数小时寻找已经存在但分散在文档、维基和PDF文件中的答案。我想雇佣一位专家来构建一个用于知识库的内部AI助手，使用检索增强生成。该系统应加载公司文档，将其拆分为块，构建嵌入，并将所有内容存储在向量数据库中。当员工在聊天界面中提问时，助手会找到最相关的块，并提供一个有理有据的答案，清楚地链接到源文档和章节。 这特别是一个用于文档的内部问答工具，而不是客户支持聊天机器人。准确性和可追溯性比聊天性更重要。每个答案都应显示信息来源，以便员工可以验证，如果数据缺失，助手必须诚实地说不知道，而不是编造。我关心文档更新的谨慎处理，以保持索引的新鲜度，合理的响应延迟，以及访问控制，以便只有授权员工可以访问敏感材料。请描述您建议的嵌入模型、向量存储和编排方法及其原因。 在结果中，我期待一个可工作的聊天界面，一个可重复的文档加载管道，以及简要的文档，以便我们的团队可以自行维护系统。在您的回复中，展示类似的RAG项目和预计的时间表。 — 加载管道：解析、分块和将文档嵌入向量存储 — 聊天界面，员工提问并获得带有来源链接的答案 — 质量调优以及随着文档变化更新索引的方法 — 访问控制、日志记录和简要的维护指南供我们的团队使用