关于服务
翻译我在 Databricks 上构建工业数据平台，并推动项目从第一行代码到交付，以便您的分析师和数据科学家可以信任每个表。我专注于湖屋：我设计 Spark 管道，从数据库、API、文件和流式源提取数据，然后将其组织成 Delta 表 — 版本化、事务安全且查询快速。我采用奖章架构，将数据通过青铜、白银和黄金层移动，因此清理、去重和业务逻辑各自生活在清晰且可测试的阶段，而不是一个让人害怕触碰的复杂脚本。
我通常覆盖整个平台生命周期。我配置工作区、集群和作业计算，采用合理的自动扩展，以便您不为闲置时间付费，并通过 Databricks Workflows 或您现有的调度器编排一切 — 包括重试、警报和数据质量检查。在治理方面，我引入 Unity Catalog：一个用于表、卷和模型的单一目录，行和列级别的访问控制、数据血缘和审计，因此安全性和合规性从一开始就内置，而不是后期附加。我单独处理性能：分区、Z-order、液态聚类和文件压缩保持成本和查询延迟在可控范围内。
结果是一个维护的基础，而不是一次性的演示。我编写模块化、经过测试的 PySpark 和 SQL 代码，记录模型和运行计划，交接可供您的团队独立发展的管道。无论您是迁移遗留存储、建立第一个湖屋，还是为机器学习准备干净的特征表 — 我都带来务实的态度，按时交付可靠的解决方案。
— 遵循青铜/白银/黄金方案的 Spark 和 Delta 管道
— 工作流编排、CI/CD 和数据质量检查
— 通过 Unity Catalog 进行治理：血缘和访问控制
— 集群和查询的性能调优和成本优化
我通常覆盖整个平台生命周期。我配置工作区、集群和作业计算，采用合理的自动扩展，以便您不为闲置时间付费，并通过 Databricks Workflows 或您现有的调度器编排一切 — 包括重试、警报和数据质量检查。在治理方面，我引入 Unity Catalog：一个用于表、卷和模型的单一目录，行和列级别的访问控制、数据血缘和审计，因此安全性和合规性从一开始就内置，而不是后期附加。我单独处理性能：分区、Z-order、液态聚类和文件压缩保持成本和查询延迟在可控范围内。
结果是一个维护的基础，而不是一次性的演示。我编写模块化、经过测试的 PySpark 和 SQL 代码，记录模型和运行计划，交接可供您的团队独立发展的管道。无论您是迁移遗留存储、建立第一个湖屋，还是为机器学习准备干净的特征表 — 我都带来务实的态度，按时交付可靠的解决方案。
— 遵循青铜/白银/黄金方案的 Spark 和 Delta 管道
— 工作流编排、CI/CD 和数据质量检查
— 通过 Unity Catalog 进行治理：血缘和访问控制
— 集群和查询的性能调优和成本优化
