Parser perl
Заказчик
АнтонАнтон
Параметры проекта
Вариант сотрудничестваПериодическая занятость
РазделРазработка программ
Предоплатавозможна предоплата
Способы оплатыЭлектронные деньги
Приём заявокзавершён
Описание проекта
Нужен максимально эффективный многопоточный прокси парсинг на perl, по сбору данных, динамической информации ( структуры) в букмекерской конторе betcity, и полученные данные индефецировать с данными из словаря и затем в нужном формате записать в базу mysql.
Структрура: название БК -> Вид спорта ( линия ) -> категория -> событие ( дата, время, команда1, команда2, url ) -> ставки ( вид ставки -> значения, url )
Вдальнейшем будет парсится N количество БК для сравнения данных, а именно ставок ( пример www.livescore.in/ru )
На каждом этапе "->" данные имеют свой словарь, начиная с вида спорта, т.е. Вразличных БК одна и таже информация может быть на русском, на английском, на транслите, " задам наперед " и т.д. Задача словаря на каждом этапе, не зависимо в каком виде была предоставлена информация прогонялась через него и записывалась в нужном формате в базу данных.
На примере, словарь вид спорта: футбол, волебол, баскетбол, хоккей, тенис и т.д., в betcity это выглядит именно так, а в другой БК эта информация будет на английском, т.е. В словаре содержется все возможные варианты, но со своими ключами для инфефикации по виду спорта. Другими словами информация подается на английском, а мы конвертируем, используя блочный словарь, всегда в русском формате ( по первому значению ) в базу данных. А если нет в словаре совпадений, значит нет и ключа "0"
В базе данных информация актуальна только свежая.
Структрура: название БК -> Вид спорта ( линия ) -> категория -> событие ( дата, время, команда1, команда2, url ) -> ставки ( вид ставки -> значения, url )
Вдальнейшем будет парсится N количество БК для сравнения данных, а именно ставок ( пример www.livescore.in/ru )
На каждом этапе "->" данные имеют свой словарь, начиная с вида спорта, т.е. Вразличных БК одна и таже информация может быть на русском, на английском, на транслите, " задам наперед " и т.д. Задача словаря на каждом этапе, не зависимо в каком виде была предоставлена информация прогонялась через него и записывалась в нужном формате в базу данных.
На примере, словарь вид спорта: футбол, волебол, баскетбол, хоккей, тенис и т.д., в betcity это выглядит именно так, а в другой БК эта информация будет на английском, т.е. В словаре содержется все возможные варианты, но со своими ключами для инфефикации по виду спорта. Другими словами информация подается на английском, а мы конвертируем, используя блочный словарь, всегда в русском формате ( по первому значению ) в базу данных. А если нет в словаре совпадений, значит нет и ключа "0"
В базе данных информация актуальна только свежая.
