分析团队的数据目录和血缘

我们是一家中型公司，多年来积累了许多数据库、数据仓库中的模式、电子表格中的导出和BI报告，但没有人对现有数据及其存放位置有完整的了解。分析师花费数天时间寻找正确的表格，在聊天中询问同事，并重建已经在某处计算过的指标。当两个报告在数字上不一致时，我们无法快速确定哪个来源是正确的，谁拥有它。我们希望通过一个合适的数据目录来解决这个问题：一个可搜索的数据集、表格、列和报告的单一注册，每个都有清晰的描述、业务含义、所有者和新鲜度指示器。

除了搜索，我们还需要血缘——能够查看字段的来源、哪些管道为表格提供数据，以及如果我们更改它哪些仪表板会中断。数据质量标志在目录中可见也很重要：一个人可以立即理解它是否是可信的数据集、过时的或正在审查中。主要目标是信任：分析师打开目录，几秒钟内找到他们需要的数据集，理解其含义，看到联系人的信息，并且在构建任何内容之前就已经知道他们是否可以依赖这些数字。

如果适合我们的技术栈并且可以由小团队维护，我们愿意考虑合适的开源或轻量级解决方案，而不是重型企业平台。我们要求您提出一种方法和大致的时间表。

我们对工作的期望：
— 从来源进行库存和自动元数据收集；
— 带有描述、所有者和标签的搜索；
— 表格和列级别的血缘可视化；
— 数据质量指标和简单的验证过程。