Парсинг битых исходящих ссылок и сбор их параметров

Привет! Для выполнения задачи чточно потребуется screaming frog или иная программа для парсинга сайтов, в том числе и очень больших сайтов на сотни тысяч страниц. Также либо вручную, либо автоматизированно собирать данные, описанные в шаге 7 ниже. Вот пошагово задача: Шаг 1. Нужно вбивать в поиск Google на английском языке из региона США, потом из региона Германия и собирать сатый находящиеся в топ-30 по конкретным запросам (я буду предоставлять список запросов.) Шаг 2. Получившийся список из 60 сайтов очищаем от слишком общих и слишком больших сайтов (например reddit, wikipedia итд) Шаг 3. Парсим каждый оставшийся сайт на исходящие битые ссылки. Шаг 4. Каждую битую ссылку фильтруем по коду ответа (нам нужны именно непроплаченные домены) Шаг 5. Массово проверяем домены на доступность к покупке. Шаг 6. Создаем таблицу с каждым доступным к покупке доменом. Шаг 7. Каждый домен нужно проверить на количество входящих ссылок, наличие спама в вэбархиве, наличие спама во входящих ссылках, а также собрать данные по DR и DA. Все это делать бесплатными доступными инструментами. Шаг 8. Вносить все данные в таблицу по каждому домену. Задачу я делал ранее самостоятельно частично автоматизированно, частично вручную, но знаю людей кто полностью автоматизировал процесс и это работает. Повторять все шаги пока работаем вместе [:1f642]