Desarrollar un servicio de conversión de archivos con cola y callbacks

En nuestra plataforma, los usuarios suben todo tipo de archivos, y en este momento estamos conectando manualmente media docena de utilidades de línea de comandos para convertirlos al formato necesario para el siguiente paso. Esto se ha vuelto frágil y lento, por lo que queremos encargar un servicio de conversión de archivos completo que podamos ejecutar nosotros mismos. La idea es simple: un cliente envía un archivo fuente y un formato de destino, el servicio acepta la tarea, realiza el trabajo pesado en segundo plano y nos notifica cuando el resultado está listo. Para nosotros, la amplitud de formatos soportados importa más que el procesamiento sofisticado de cualquiera de ellos.

Específicamente, el servicio debe cubrir tres amplias familias. Los documentos de oficina y texto deben convertirse entre sí y a/desde PDF. Las imágenes deben traducirse entre formatos raster y vector comunes, incluyendo multipáginas. El audio y el video deben convertirse entre contenedores y códecs comunes, incluyendo la extracción de audio de video. Esto no es deliberadamente una CDN de imágenes que solo redimensiona fotos al vuelo, y no un transcodificador estrecho solo para video; el objetivo es una conversión amplia de muchos a muchos entre documentos, imágenes y medios a través de una única interfaz unificada.

El trabajo debe ser asíncrono porque algunas tareas tardan segundos y otras minutos. Esperamos una API REST para la presentación de tareas y obtención de un ID, una cola y un grupo de trabajadores que procesen tareas sin bloquear al llamador, la capacidad de consultar el estado y un callback de webhook al completar o al error con un cuerpo de solicitud firmado. Establecer límites razonables, mensajes de error claros para entradas no soportadas o corruptas, y una simple escalabilidad horizontal de los trabajadores. Proporcionaremos archivos de prueba para cada familia de formatos y esperamos una breve guía de operaciones.

— Puntos finales REST para la presentación de tareas, verificación de estado y descarga de resultados
— Cola asíncrona con grupo de trabajadores y reintento en fallos transitorios
— Callbacks de webhook firmados en éxito y error
— Soporte para familias de formatos: documentos, imágenes, audio y video
— Límites de tamaño de archivo y límites de tasa de solicitud, errores claros para entradas incorrectas
— Despliegue en Docker y breve guía de operaciones