Descripción del proyecto
TraducidoAnalizador multihilo de la lista de títulos de etiquetas de contenido URL desde txt.file.
Los sitios en la lista pueden o no existir.
Es deseable implementar en PHP o algún lenguaje de servidor para ejecutar con VDS.
Si funciona bien bajo el viento, no importa qué.
Configuraciones:
- archivo de datos de entrada
- archivo de datos de salida
- 100-1000 flujos
- tiempo de espera de 3-10 segundos
-
- archivo con un paso (si de repente se detiene, para no analizar desde el principio, sino desde este paso)
El analizador no debe descargar el 100% del código de la página, sino solo desde los caracteres especificados en la configuración.
Por ejemplo, desde el principio del archivo, saltamos 183 caracteres y escribimos solo 34 caracteres en la variable, que son parsim.
Algo como $info = file_get_contents ($url, NULL, NULL, 138, 34).
Podría haber 50 millones en total en la base de entrada. Enlaces.