关于服务
翻译我将有效的机器学习模型变得显著更快、更轻，以便在生产中使用，而不牺牲准确性。如果一个模型在笔记本中预测正确，但在负载下太慢、占用内存过多或成本过高，那正是我解决的问题。多年来，我将数十个研究原型转变为在毫秒内响应而不是秒的服务，在每个项目中我遵循一个原则：先测量，然后改变，再用可以信任的数字证明结果。
我掌握完整的优化路径。我将模型转换为可移植的运行时，如ONNX和TensorRT，应用int8或fp16量化，通过剪枝去除多余的权重和头，融合和简化计算图，针对您的特定硬件调优部署——无论是CPU服务器、数据中心GPU还是边缘设备。每一步都在您的测试集上进行验证，因此准确性保持在您的容忍范围内。我从不交付一个默默变差的更快模型：我在前后并排测量延迟、吞吐量和质量。
您将获得一份清晰的报告：基线数字、优化后的数字、确切的变更列表，以及您可以在新模型版本上重新运行的可重复管道。典型结果——延迟减少两到八倍，成本节省相似，同时保持准确性。请告诉我框架、目标硬件和延迟预算，我会诚实地告诉您在开始之前可以实现的目标。
— 转换为ONNX、TensorRT和其他运行时
— 量化（int8、fp16）和结构化或非结构化剪枝
— 图优化、操作符融合和布局调优
— 在CPU、GPU和边缘上的基准测试，附带可重复的报告
我掌握完整的优化路径。我将模型转换为可移植的运行时，如ONNX和TensorRT，应用int8或fp16量化，通过剪枝去除多余的权重和头，融合和简化计算图，针对您的特定硬件调优部署——无论是CPU服务器、数据中心GPU还是边缘设备。每一步都在您的测试集上进行验证，因此准确性保持在您的容忍范围内。我从不交付一个默默变差的更快模型：我在前后并排测量延迟、吞吐量和质量。
您将获得一份清晰的报告：基线数字、优化后的数字、确切的变更列表，以及您可以在新模型版本上重新运行的可重复管道。典型结果——延迟减少两到八倍，成本节省相似，同时保持准确性。请告诉我框架、目标硬件和延迟预算，我会诚实地告诉您在开始之前可以实现的目标。
— 转换为ONNX、TensorRT和其他运行时
— 量化（int8、fp16）和结构化或非结构化剪枝
— 图优化、操作符融合和布局调优
— 在CPU、GPU和边缘上的基准测试，附带可重复的报告
