Description du projet
TraduitParseur multithread de la liste des URL des titres de balises de contenu à partir d'un fichier txt.
Les sites de la liste peuvent exister ou non.
Il est souhaitable de l'implémenter en PHP ou dans un autre langage serveur pour fonctionner avec VDS.
Si cela fonctionne bien sous le vent, peu importe quoi.
Paramètres :
- fichier de données entrant
- fichier de données sortant
- 100-1000 flux
- délai d'attente de 3 à 10 secondes
-
- fichier avec un pas (si jamais cela s'arrête, pour ne pas parser depuis le début, mais depuis ce pas)
Le parseur ne doit pas télécharger 100 % du code de la page, mais seulement à partir des caractères spécifiés dans les paramètres.
Par exemple, au début du fichier, nous sautons 183 caractères et écrivons seulement 34 caractères dans la variable, qui sont parsés.
Quelque chose comme $info = file_get_contents ($url, NULL, NULL, 138, 34).
Il pourrait y avoir 50 millions au total dans la base entrante. Liens.