Konwerter i walidator cenników

Prowadzimy hurtowy katalog, który pobiera cenniki od dziesiątek dostawców, a każdy z nich przesyła dane w innej formie. Niektórzy dostarczają arkusze kalkulacyjne z scalonymi komórkami i niespójnymi nagłówkami, inni przesyłają kanały XML, a niektórzy wciąż wysyłają proste eksporty CSV z własnymi separatorami i kodowaniami. Obecnie nasz zespół ręcznie kopiuje kolumny, a błędy przedostają się do sklepu: błędne ceny, brakujące liczby zapasów, zduplikowane numery artykułów.

Potrzebujemy konwertera i walidatora, który odczytuje dowolny z tych formatów źródłowych i mapuje ich pola na nasz pojedynczy wewnętrzny schemat. Mapowanie pól powinno być konfigurowalne, aby kolumna dostawcy nazwana 'Art', 'SKU' lub 'Kod produktu' mogła wskazywać na to samo pole docelowe bez dotykania kodu za każdym razem. Po mapowaniu narzędzie musi zwalidować każdy wiersz: numeryczne ceny, niepuste numery artykułów, dozwolone kody walut, rozsądne zakresy ilości i brak zduplikowanych kluczy w pliku.

Wszystko, co nie przejdzie walidacji, nie powinno cicho znikać. Chcemy wyraźnego dziennika błędów, który nazwie plik, wiersz i dokładny powód, aby operator mógł naprawić źródło lub nadpisać regułę. Czyste wiersze trafiają do znormalizowanego eksportu gotowego do importu. Proszę opisać, jak przechowywałbyś profile mapowania, jak radzisz sobie z uszkodzonymi kodowaniami i jak dziennik jest prezentowany operatorowi.