关于服务
翻译我在 Scala 上开发数据处理系统，使用 Apache Spark，专注于两件事：输出的数字是正确的，并且当数据变大十倍时任务能够完成。我运行批处理和流处理管道、ETL 层和重聚合，每天处理数十亿行数据，并且在凌晨三点不会崩溃。默认情况下，我编写类型化的函数式代码——干净的转换、明确的模式、连接中没有静默的空值——这样一年后我可以平静地阅读管道，而不是害怕去触碰它。
工作从您的真实数据和真实瓶颈开始，而不是演示。我分析时间和金钱的实际去向：关键偏斜、重 shuffle 连接、小文件的爆炸、流处理落后于源——并重写热点路径：查询的分区和桶化、就地广播连接、带有正确水印的窗口聚合、检查点以便重启只需几分钟而不是完全重新处理。我将任务嵌入编排中，添加指标和数据质量检查，并留下您的团队自行开发的代码。我在 YARN、Kubernetes 或托管集群上使用 Spark，使用 Kafka 和 Parquet——快速，因为布局适合负载，而不是因为集群变大了。
工作从您的真实数据和真实瓶颈开始，而不是演示。我分析时间和金钱的实际去向：关键偏斜、重 shuffle 连接、小文件的爆炸、流处理落后于源——并重写热点路径：查询的分区和桶化、就地广播连接、带有正确水印的窗口聚合、检查点以便重启只需几分钟而不是完全重新处理。我将任务嵌入编排中，添加指标和数据质量检查，并留下您的团队自行开发的代码。我在 YARN、Kubernetes 或托管集群上使用 Spark，使用 Kafka 和 Parquet——快速，因为布局适合负载，而不是因为集群变大了。
