Разработать парсер linkedin на телеграмм боте

1. Цель проекта Создание парсера для LinkedIn, который будет работать через Telegram. Парсер должен собирать информацию о пользователях и компаниях с LinkedIn, включая: Имя пользователя Ссылка на профиль пользователя Название компании Ссылка на профиль компании Почтовые адреса (по возможности)(пункты могут добавляться в зависимости от возможностей api) Результаты поиска должны экспортироваться в Google Таблицы для дальнейшего использования и обработки. Парсинг будет осуществляться с использованием следующих библиотек: linkedin-api linkedin-scraper(или других при наличии) 2. Основные функциональные требования Интерфейс с Telegram: Создать бота в Telegram, который будет взаимодействовать с пользователями. Пользователь может отправлять запросы для поиска профилей на LinkedIn и получать результаты в виде сообщений в Telegram. Результаты поиска, помимо вывода в Telegram, должны быть экспортированы в Google Таблицы. Поиск на LinkedIn: Парсинг информации по ссылке на поиск с выставленными фильтрами Реализовать поиск через LinkedIn Search и Sales Navigator. Обработка ошибок: Обработка ошибок, возникающих при неудачном запросе, блокировке аккаунтов и других нештатных ситуациях. Экспорт в Google Таблицы: После получения результатов поиска, парсер должен автоматически экспортировать данные в Google Таблицы. Для каждого поиска создавать новый лист, с уникальным названием по имени пользователя Таблица должна содержать следующие колонки: Имя пользователя Ссылка на профиль Название компании Ссылка на компанию Почта (если доступно) Для работы с Google Таблицами необходимо использовать Google Sheets API для автоматического создания и редактирования таблиц. 3. Функциональные особенности Телеграмм-бот: Бот должен принимать команды от пользователя через Telegram: /start — запуск бота и приветственное сообщение. /search <поисковый запрос> — выполнение поиска по ключевому запросу на LinkedIn, вывод результатов в Telegram и экспорт их в Google Таблицы. /help — описание доступных команд. Каждому результату поиска должна быть дана краткая информация: Имя пользователя. Ссылка на профиль пользователя. Название компании. Ссылка на профиль компании. Почтовый адрес (если доступно). Парсинг LinkedIn: Использовать linkedin-scraper для получения информации с публичных страниц пользователей и компаний (если доступны). Использовать linkedin-api для получения информации о профиле пользователя, включая имя, компанию, позицию и почту (если доступна). Получение данных: Для пользователей, чьи страницы доступны: Имя и фамилия. Профильная ссылка на LinkedIn. Компания, где работает пользователь. Ссылка на страницу компании. Электронная почта (если публично доступна). Ограничения: Параллельное выполнение запросов для ускорения поиска, если возможно. Для избежания блокировок необходимо добавить случайные задержки между запросами. Отображение ошибки в случае блокировки пользователя или проблемы с запросом. Данные безопасности и конфиденциальности: Соблюдать политику конфиденциальности LinkedIn и избегать парсинга данных, которые противоречат их условиям использования. Защита данных пользователей (например, пароли) и соблюдение стандартов безопасности для Telegram-ботов. 4. Технические требования Среда разработки: Python 3.8 или выше. Использование библиотек python-telegram-bot для создания бота. Использование linkedin-scraper и linkedin-api для получения данных с LinkedIn. Использование Google Sheets API для автоматического экспорта данных в таблицы. Интеграция с Telegram: Использование Telegram Bot API для создания и работы с ботом. Получение сообщений от пользователей и отправка ответов. Архитектура: Парсер должен быть многозадачным, чтобы обрабатывать несколько запросов одновременно, без блокировки аккаунта. Реализовать использование баз данных или файлов для хранения временных данных (например, для отслеживания ограничений и очереди запросов). Интеграция с Google Sheets API: Для работы с Google Таблицами необходимо использовать OAuth 2.0 для авторизации и доступа к Google Sheets API. После получения результатов поиска парсер должен автоматически создать новый лист в Google Таблице, заполнить его соответствующими данными и предоставить ссылку на таблицу пользователю. 5. Этапы разработки Этап 1 — Создание Telegram-бота: Настройка Telegram-бота и его интеграция с Python. Разработка команд для бота (например, /start, /search, /help). Этап 2 — Реализация парсера LinkedIn: Настройка и тестирование библиотек linkedin-api и linkedin-scraper. Реализация логики поиска и извлечения данных из LinkedIn. Обработка информации о пользователях и компаниях. Этап 3 — Интеграция с Telegram-ботом: Интеграция парсера с Telegram-ботом для отправки результатов поиска. Обработка команд и вывод результатов пользователю. Интеграция с Google Sheets API для автоматического экспорта данных. Этап 4 — Тестирование: Проведение тестирования бота на различных данных и исправление ошибок. Проверка работы бота в условиях ограничений и капч. Этап 5 — Развертывание и поддержка: Развертывание бота на сервере или в облаке. Обеспечение стабильной работы и мониторинг. 6. Дополнительные требования Возможность доработки бота с добавлением новых функций. Оптимизация скорости работы бота и парсера для эффективного получения данных. Предоставление отчётов о работе бота в случае возникновения ошибок или блокировок. 7. Ожидаемые результаты Рабочий Telegram-бот, который позволяет искать информацию на LinkedIn и экспортировать данные в Google Таблицы. Результаты поиска, включающие имя пользователя, ссылку на профиль, компанию, ссылку на компанию и почту (если доступно), экспортируются в таблицу.