Descrição do projeto
TraduzidoEu preciso de um parser multithreaded para título de tag.
Parser multithreaded da lista de URLs de títulos de tags de conteúdo a partir de um arquivo txt.
Sites na lista podem ou não existir.
Implementar é desejável em PHP ou alguma linguagem de servidor para rodar com VDS.
Se funcionar bem sob o vento, não importa o que.
Configurações:
- arquivo de dados de entrada
- arquivo de dados de saída
- 100-1000 streams
- 3-10 segundos de timeout
-
- arquivo com um passo (se de repente parar, para não fazer o parse do início, mas a partir deste passo)
O parser não deve baixar 100% do código da página, mas apenas a partir dos caracteres especificados nas configurações.
Por exemplo, do início do arquivo, pulamos 183 caracteres e escrevemos apenas 34 caracteres na variável, que são parsim.
Algo como $info = file_get_contents ($url, NULL, NULL, 138, 34).
Pode haver 50 milhões no total na base de entrada. Links.
Parser multithreaded da lista de URLs de títulos de tags de conteúdo a partir de um arquivo txt.
Sites na lista podem ou não existir.
Implementar é desejável em PHP ou alguma linguagem de servidor para rodar com VDS.
Se funcionar bem sob o vento, não importa o que.
Configurações:
- arquivo de dados de entrada
- arquivo de dados de saída
- 100-1000 streams
- 3-10 segundos de timeout
-
- arquivo com um passo (se de repente parar, para não fazer o parse do início, mas a partir deste passo)
O parser não deve baixar 100% do código da página, mas apenas a partir dos caracteres especificados nas configurações.
Por exemplo, do início do arquivo, pulamos 183 caracteres e escrevemos apenas 34 caracteres na variável, que são parsim.
Algo como $info = file_get_contents ($url, NULL, NULL, 138, 34).
Pode haver 50 milhões no total na base de entrada. Links.
Desenvolvimento web Dinheiro eletrônico
