Python Web-Scraper und Datensammlungssystem

Wir benötigen ein Produktions-Web-Scraping-System, das nach einem täglichen Zeitplan strukturierte Daten von 5-8 Websites sammelt und in ein für Analysen geeignetes Format umwandelt. Dies ist kein einmaliges Skript, sondern ein Dienst, der jeden Tag unbeaufsichtigt läuft, Markup-Änderungen an den Quellen übersteht, die Last respektvoll reduziert, wenn eine Website dies verlangt, und nicht vollständig abstürzt, wenn eine der Zielressourcen ausfällt. Einige Quellen sind einfache statische HTML-Seiten, andere sind umfangreiche JavaScript-SPAs, daher muss der Crawler beide sicher handhaben können.

Genauso wichtig ist, was passiert, nachdem die Seite geladen ist. Roh-HTML muss in verifizierte, deduplizierte Datensätze umgewandelt werden, und Preise, Daten und Telefonnummern müssen vor der Speicherung in der Datenbank auf einheitliche Formate normalisiert werden. Es macht Sinn, nur neue oder geänderte Daten zu speichern, daher benötigen wir inkrementelle Logik. Darüber hinaus ist uns operationale Transparenz wichtig: ein Dashboard, das Erfolgsquoten und Volumina anzeigt, Benachrichtigungen bei Fehlern und Datenanomalien sowie ein reproduzierbares Deployment, das von Grund auf ohne tribal knowledge hochgefahren werden kann.

Die spezifischen Zielwebsites sind vertraulich und werden nach Vereinbarung der Bedingungen unter NDA geteilt. In Ihrer Antwort schreiben Sie über die Anti-Bot-Schutzmaßnahmen, auf die Sie gestoßen sind, und wie Sie den Parser über die Zeit stabil gehalten haben. Der vollständige Arbeitsumfang ist unten aufgeführt.

1. Scraper-Architektur
— Scrapy + Proxy-Rotation und User-Agent-Pool
— Playwright/Selenium für JS-Seiten
— CAPTCHA-Umgehung (2captcha / anti-captcha)
— Ratenbegrenzung, robots.txt-Konformität

2. Datenpipeline
— HTML zu strukturiertem JSON
— Validierung und Deduplizierung
— Normalisierung von Preisen, Daten, Telefonnummern
— PostgreSQL-Speicherung mit Schema-Design
— Inkrementelle Updates (nur neue/geänderte Datensätze)

3. Überwachung und Betrieb
— Dashboard: Lauf-Erfolg, Datensatzanzahlen, Fehler
— Slack/E-Mail-Benachrichtigungen bei Fehlern
— Docker Compose-Deployment
— Cron-Planung mit Retry-Logik

Zielwebsites
— Vertraulich (NDA) — Details nach Vereinbarung
— Mischung aus statischen und SPA-Seiten

Liefergegenstände
— Quellcode mit Tests
— Docker Compose-Konfiguration
— Datenbankschema-Migrationen
— Runbook und Überwachungseinrichtung