Entwickeln Sie einen Dateikonvertierungsdienst mit Warteschlange und Rückrufen

Auf unserer Plattform laden Benutzer alle Arten von Dateien hoch, und im Moment verbinden wir manuell ein halbes Dutzend Befehlszeilen-Utilities, um sie in das Format zu konvertieren, das für den nächsten Schritt benötigt wird. Das ist fragil und langsam geworden, daher möchten wir einen voll funktionsfähigen Dateikonvertierungsdienst in Auftrag geben, den wir selbst betreiben können. Die Idee ist einfach: Ein Client sendet eine Quelldatei und ein Zielformat, der Dienst akzeptiert die Aufgabe, erledigt die schwere Arbeit im Hintergrund und benachrichtigt uns, wenn das Ergebnis bereit ist. Für uns ist die Breite der unterstützten Formate wichtiger als die ausgeklügelte Verarbeitung eines einzelnen Formats.

Konkret muss der Dienst drei breite Familien abdecken. Büro- und Textdokumente müssen untereinander und zu/von PDF konvertiert werden. Bilder müssen zwischen gängigen Raster- und Vektorformaten übersetzt werden, einschließlich Mehrseiten. Audio und Video müssen zwischen gängigen Containern und Codecs konvertiert werden, einschließlich Audioextraktion aus Video. Dies ist absichtlich kein Bild-CDN, das nur Fotos im Handumdrehen verkleinert, und kein enger Video-Transcoder; der Punkt ist eine breite viele-zu-viele-Konvertierung zwischen Dokumenten, Bildern und Medien über eine einzige einheitliche Schnittstelle.

Die Arbeit muss asynchron sein, da einige Aufgaben Sekunden und andere Minuten in Anspruch nehmen. Wir erwarten eine REST-API für die Aufgabenübermittlung und das Abrufen einer ID, eine Warteschlange und einen Arbeiterpool, der Aufgaben verarbeitet, ohne den Aufrufer zu blockieren, die Möglichkeit, den Status abzufragen, und einen Webhook-Rückruf bei Abschluss oder Fehler mit einem signierten Anfragekörper. Bauen Sie angemessene Grenzen ein, klare Fehlermeldungen für nicht unterstützte oder beschädigte Eingaben und eine einfache horizontale Skalierung der Arbeiter. Wir werden Testdateien für jede Formatfamilie bereitstellen und erwarten einen kurzen Betriebsleitfaden.

— REST-Endpunkte für die Aufgabenübermittlung, Statusüberprüfung und Ergebnisdownload
— Asynchrone Warteschlange mit Arbeiterpool und Wiederholungen bei vorübergehenden Fehlern
— Signierte Webhook-Rückrufe bei Erfolg und Fehler
— Unterstützung für Formatfamilien: Dokumente, Bilder, Audio und Video
— Dateigrößenbeschränkungen und Anforderungsratenbeschränkungen, klare Fehler für ungültige Eingaben
— Docker-Bereitstellung und kurzer Betriebsleitfaden