Парсинг сайтов-каталогов
Доброго времени суток! Цена указана условная, прошу ознакомиться с ТЗ ниже и оценить ваш труд исходя из сложности. Важно - высылайте, пожалуйста, вдумчивые ответы, визитки обычно не "в кассу"))
Дано.
8 сайтов каталогов/агрегаторов, данных не более 500-1000 контактов, вероятность пересечения до 90%. Сайты имеют вид либо статичного каталога, либо ленты постов посвященных контрагенту которого мы парсим.
Задачи:
1. Совместно выявить графы (категории), которые являются критерием для фильтра на сайте (контакты, котегория и пр ) Нужно согласовать со мной финальный вид шапки и после одобрения, дальнейшие шаги:
2. Объединить те, которые повторяются в двух и более сайтах;
3. Для сайтов со структурой выдачи контрагентов в виде постов.* Сделать итоговые количественные подсчёты какое количество раз сайт который парсим ссылался на внешний ресурс контрагента. (вытекающая задача подсчёт количество отсылок)
4. Для сайтов со структурой выдачи контрагентов в виде постов.* Произвести ранжирование, поднимая в ТОП строку с большим количеством обращений к нему, по убывания;
5. Проверка валидности, если ссылка на офер контрагента битая, нужно проверить работает ли сайт в целом, те вторая валидация проверка работоспособности домена.
Итоговый результат нужен в формате Exel
Скрипты и боты