Opis projektu
PrzetłumaczoneWielowątkowy parser listy URL tytułów tagów z pliku txt.
Strony na liście mogą, ale nie muszą istnieć.
Implementacja jest pożądana w PHP lub w jakimś języku serwerowym do uruchomienia na VDS.
Jeśli działa dobrze pod windą, to nie ma znaczenia co.
Ustawienia:
- plik danych wejściowych
- plik danych wyjściowych
- 100-1000 strumieni
- 3-10 sekund timeoutu
-
- plik z krokiem (jeśli nagle się zatrzyma, aby nie parsować od początku, ale od tego kroku)
Parser nie powinien pobierać 100% kodu strony, ale tylko z znaków określonych w ustawieniach.
Na przykład, na początku pliku pomijamy 183 znaki i zapisujemy tylko 34 znaki do zmiennej, które są parsowane.
Coś w stylu $info = file_get_contents ($url, NULL, NULL, 138, 34).
W sumie w bazie wejściowej może być 50 milionów. Linków.