在 Great Expectations 上进行自动化数据质量检查

我将自动化数据质量检查嵌入到您的管道中，以确保不良数据永远不会出现在仪表板和模型中。主要工具是 Great Expectations，但如果需要，我会使用类似的框架。您可以在表加载或转换的瞬间发现问题，而不是在报告会议上了解问题。

一开始，我会分析您的真实表格，并与使用数据的人交谈，然后为重要内容编写检查：行数在可接受范围内、列没有空值、键的唯一性、来自已知集合的类别、正确的日期和不应突然变化的分布。我将这些检查嵌入到加载和转换步骤中——Airflow、dbt、cron 或简单脚本——这样不良批次在破坏报告之前就会停止。

当某个检查失败时，您会收到清晰的警报，显示列和规则，以及带有历史记录和成功率的实时数据文档。我提供干净、文档化的代码和运行手册，以便您的团队可以自行扩展检查。

— 规则的分析和优先级列表
— 加载和转换中的检查
— 异常和新鲜度警报到 Slack 或电子邮件
— 数据文档、运行手册和项目交接