Descrizione del progetto
TradottoHo bisogno di un parser multithreaded per i titoli dei tag.
Parser multithreaded della lista degli URL dei titoli dei tag di contenuto da txt.file.
I siti nella lista possono esistere o meno.
È auspicabile implementarlo in PHP o in qualche linguaggio server per funzionare con VDS.
Se funziona bene sotto il vento, non importa cosa.
Impostazioni:
- file di dati in ingresso
- file di dati in uscita
- 100-1000 stream
- timeout di 3-10 secondi
-
- file con un passo (se all'improvviso si ferma, in modo da non analizzare dall'inizio, ma da questo passo)
Il parser non dovrebbe scaricare il 100% del codice della pagina, ma solo dai caratteri specificati nelle impostazioni.
Ad esempio, dall'inizio del file, saltiamo 183 caratteri e scriviamo solo 34 caratteri nella variabile, che sono parsim.
Qualcosa come $info = file_get_contents ($url, NULL, NULL, 138, 34).
Potrebbero esserci in totale 50 milioni nella base in ingresso. Link.
Parser multithreaded della lista degli URL dei titoli dei tag di contenuto da txt.file.
I siti nella lista possono esistere o meno.
È auspicabile implementarlo in PHP o in qualche linguaggio server per funzionare con VDS.
Se funziona bene sotto il vento, non importa cosa.
Impostazioni:
- file di dati in ingresso
- file di dati in uscita
- 100-1000 stream
- timeout di 3-10 secondi
-
- file con un passo (se all'improvviso si ferma, in modo da non analizzare dall'inizio, ma da questo passo)
Il parser non dovrebbe scaricare il 100% del codice della pagina, ma solo dai caratteri specificati nelle impostazioni.
Ad esempio, dall'inizio del file, saltiamo 183 caratteri e scriviamo solo 34 caratteri nella variabile, che sono parsim.
Qualcosa come $info = file_get_contents ($url, NULL, NULL, 138, 34).
Potrebbero esserci in totale 50 milioni nella base in ingresso. Link.
Sviluppo web Denaro elettronico
