Создать многопоточный парсер тегов тайтл
Заказчик
[no-member:pro]Владимир[/no-member:pro]
Параметры проекта
Вариант сотрудничестваОдноразовый проект
РазделРазработка для WEB
Предоплатабез предоплат
Способы оплатыЭлектронные деньги
Приём заявокот 2019-01-18 до 2019-01-28
Описание проекта
Нужен многопоточный парсер тегов тайтл.
Многопоточный парсер содержимого тегов тайтл по списку URL из txt.файла.
Сайты в списке могут существовать, а могут и не существовать.
Реализация желательна на PHP или каком то серверном языке, для запуска с VDS.
Если нормально будет работать и под виндой, то без разницы на чем.
Настройки:
- файл входящих данных
- файл исходящих данных
- потоков 100-1000
- таймаут 3-10 сек
-
- файл с шагом (если вдруг заглючит, что бы не парсить с самого начала, а с этого шага)
Парсер не должен загружать все 100% кода страницы, а только с указанных в настройках символов.
Например от начала файла пропускаем 183 символа и записываем в переменную только 34 символа, которые и парсим.
Что то типа $info = file_get_contents($url, NULL, NULL, 138, 34);
Всего во входящей базе может быть 50 млн. Ссылок.
Многопоточный парсер содержимого тегов тайтл по списку URL из txt.файла.
Сайты в списке могут существовать, а могут и не существовать.
Реализация желательна на PHP или каком то серверном языке, для запуска с VDS.
Если нормально будет работать и под виндой, то без разницы на чем.
Настройки:
- файл входящих данных
- файл исходящих данных
- потоков 100-1000
- таймаут 3-10 сек
-
- файл с шагом (если вдруг заглючит, что бы не парсить с самого начала, а с этого шага)
Парсер не должен загружать все 100% кода страницы, а только с указанных в настройках символов.
Например от начала файла пропускаем 183 символа и записываем в переменную только 34 символа, которые и парсим.
Что то типа $info = file_get_contents($url, NULL, NULL, 138, 34);
Всего во входящей базе может быть 50 млн. Ссылок.
