项目描述
翻译从txt.file中解析内容标签标题列表URL的多线程解析器。
列表上的网站可能存在也可能不存在。
建议使用PHP或某种服务器语言在VDS上运行。
如果在风下运行良好,其他无所谓。
设置:
- 输入数据文件
- 输出数据文件
- 100-1000个流
- 3-10秒超时
-
- 带步长的文件(如果突然停止,以便不从头开始解析,而是从这个步长开始)
解析器不应下载页面代码的100%,而只需从设置中指定的字符开始。
例如,从文件的开头,我们跳过183个字符,并将仅34个字符写入变量,这些字符是parsim。
类似于$info = file_get_contents ($url, NULL, NULL, 138, 34)。
输入库中总共有5000万个链接。