Projektbeschreibung
ÜbersetztIch benötige einen mehrthreadigen Parser für Tag-Titel.
Mehrthreadiger Parser der Inhalts-Tag-Titel-URL-Liste aus txt.datei.
Die Seiten in der Liste können existieren oder auch nicht.
Die Implementierung ist wünschenswert in PHP oder einer anderen Serversprache, um mit VDS zu arbeiten.
Wenn es gut unter dem Wind funktioniert, spielt es keine Rolle, was.
Einstellungen:
- Eingabedatei
- Ausgabedatei
- 100-1000 Streams
- 3-10 Sekunden Timeout
-
- Datei mit einem Schritt (falls es plötzlich stoppt, um nicht von Anfang an zu parsen, sondern von diesem Schritt)
Der Parser sollte nicht 100% des Seiten-Codes herunterladen, sondern nur von den in den Einstellungen angegebenen Zeichen.
Zum Beispiel, vom Anfang der Datei überspringen wir 183 Zeichen und schreiben nur 34 Zeichen in die Variable, die wir parsen.
Etwas wie $info = file_get_contents ($url, NULL, NULL, 138, 34).
In der eingehenden Datenbank könnten insgesamt 50 Millionen sein. Links.
Mehrthreadiger Parser der Inhalts-Tag-Titel-URL-Liste aus txt.datei.
Die Seiten in der Liste können existieren oder auch nicht.
Die Implementierung ist wünschenswert in PHP oder einer anderen Serversprache, um mit VDS zu arbeiten.
Wenn es gut unter dem Wind funktioniert, spielt es keine Rolle, was.
Einstellungen:
- Eingabedatei
- Ausgabedatei
- 100-1000 Streams
- 3-10 Sekunden Timeout
-
- Datei mit einem Schritt (falls es plötzlich stoppt, um nicht von Anfang an zu parsen, sondern von diesem Schritt)
Der Parser sollte nicht 100% des Seiten-Codes herunterladen, sondern nur von den in den Einstellungen angegebenen Zeichen.
Zum Beispiel, vom Anfang der Datei überspringen wir 183 Zeichen und schreiben nur 34 Zeichen in die Variable, die wir parsen.
Etwas wie $info = file_get_contents ($url, NULL, NULL, 138, 34).
In der eingehenden Datenbank könnten insgesamt 50 Millionen sein. Links.
Webentwicklung E-Geld
