Raspador de monitoramento de preços de concorrentes com alertas

Temos uma loja online de médio porte e constantemente perdemos margem porque descobrimos sobre mudanças de preços de concorrentes muito tarde. Precisamos de um raspador de monitoramento de preços separado que rastreie uma lista determinada de páginas de produtos em cerca de uma dúzia de sites de lojas de varejo e, em um cronograma fixo, várias vezes ao dia, registre o preço atual. Para cada produto rastreado, a ferramenta deve salvar o preço, o status de disponibilidade e a data/hora, e então armazenar o histórico completo para que possamos ver como o preço mudou ao longo das semanas, não apenas uma única captura. Este não é um projeto sobre cupons ou códigos promocionais e não é um pipeline de dados geral para um armazém: o foco total é em raspar preços de concorrentes e rastrear suas mudanças ao longo do tempo.

O raspador deve suportar obstáculos reais típicos: páginas onde o preço é renderizado através de JavaScript, proteção contra bots, layout em mudança e alterações periódicas na estrutura da página do produto. Quero seletores personalizáveis para cada site, para que quando uma loja redesenhar, você possa corrigir um alvo em vez de reescrever o código. O agendador deve ser confiável e educado, espalhando solicitações ao longo do tempo para não sobrecarregar um site, com tentativas e registro claro de falhas de carga. Quando um preço rastreado ultrapassa uma regra que defini (cai abaixo de um limite, está abaixo do nosso preço ou muda mais do que uma porcentagem especificada), o sistema deve enviar um alerta por e-mail e mensageiro com o produto, valores antigos e novos e um link direto.

Também preciso de um painel simples onde eu possa visualizar o histórico de preços de cada produto como um gráfico, comparar nosso preço com os concorrentes lado a lado e exportar dados para CSV para o departamento de compras. Por favor, descreva sua abordagem para a estabilidade do raspador, como você trabalha com sites que bloqueiam acesso automatizado e como você tornará a lista de produtos rastreados fácil de editar para um gerente não técnico.

— Raspagem em um cronograma de uma lista personalizável de links de produtos de concorrentes
— Coleta de preço, status de disponibilidade e data/hora; armazenamento do histórico completo
— Alertas por regras (limite, mudança percentual, abaixo do nosso preço) para e-mail e chat
— Gráficos de histórico de preços e comparação lado a lado com concorrentes
— Exportação para CSV e lista de produtos editável para funcionários não técnicos
— Tentativas, ritmo de solicitação educado e registro claro de falhas