Написать парсер для Facebook, Instagram, TikTok и Twitter

Bots 11.10.24 10:43

Бюджет: 50000 руб.

Создать сервис для парсинга постов из Facebook, Instagram, Tik-Tok и Twitter, который будет собирать посты из публичных групп и профилей (по 10,000 аккаунтов или групп в каждой соцсети). Парсер должен поддерживать текст, изображения и комментарии.Важно, чтобы он справлялся с ограничениями API, обрабатывал ошибки, чтобы система не банила парсер при большом количестве запросов, т.е нужна ротация прокси, обход капчи и другие способы обхода блокировки, также чтобы поддерживал фильтры для поиска по ключевым словам, временным рамкам и другим параметрам. Данные должны обновляться в реальном времени или с минимальной задержкой. Сервис должен собирать и сохранять следующую информацию: Текст поста Количество лайков Количество комментариев Количество репостов Количество просмотров (обход каждые 3 часа до сутки) Дата публикации поста Ссылка на пост Название группы, в которой опубликован пост Ссылка на группу, в которой опубликован пост Имя и фамилия автора поста Ссылка на автора поста Тип автора(Personal profile, Mass media account, community) Пол автора (если доступно) Возраст автора (если доступно) Аудитория профиля или группы, в которой опубликован пост Country, Region, City, Place, Address (если доступно) Использовать python3, arsenic, selenium. Данные сохранять в базу данных (mongodb и elasticsearch). Задачу принимаем в Github репозитории. Надо также развернуть сервис в виртуальной машине Ubuntu.

Найдено 6355 результатов

Разработка Telegram-бота с интеграцией GPT

Описание: Требуется разработать Telegram-бот, использующий интеграцию с API для обработки пользовательских запросов. Основные функции включают взаимодействие с пользователем через текст и голос, а также работу с google календарём для создания и управления событиями. Требования к разработчику: - Опыт разработки ботов на платформе Telegram с использованием API. - Опыт работы с ИИ (GPT, OpenAI или другие NLP-модели) для обработки текста и голосовых сообщений. - Знание одного из следующих языков программирования: - Python (aiogram или аналогичные библиотеки для работы с Telegram). - Node.js (Telegraf.js или аналогичные библиотеки). - Опыт интеграции с API для распознавания речи (например, Google Speech-to-Text или другие). - Умение работать с базами данных для хранения пользовательских данных и задач. Задачи: 1. Бот должен принимать команды и текстовые сообщения от пользователей, включая голосовые. 2. Интеграция с GPT для обработки текстовых запросов. 3. Обработка голосовых сообщений и структурирование их в текст. 4. Интеграция с календарем (Пока под вопросом) 5. Хранение данных пользователей. 6. Управление ботом. Ожидаемый результат: - Рабочий бот с перечисленным функционалом. - Чистый, хорошо структурированный код с комментариями. - Демонстрация работы всех функций бота через тестирование.

Скрипты и боты

Опубликован:
17.10.24 19:08

Бюджет:
100000 руб.~$1248.29

Python джуниор wildberries

Добрый день, ищем разработчиков на долгосрок. Есть несколько проектов на разработку. В основном тема это сервисы аналитики для маркетплейсов(Wb, OZON). Связка django react, Flask, FastApi. Орм sqlalchemy, бд postgres. Текущий проект это оцифровка вб и озон, работа с их апи и предоставление данных клиенту в формате сайта с аналитикой. Заказы, продажи, поставки, финансы и все такое. Сам сервис уже есть, работает, но задач ещё куча. В основном задачи это написание апи методов для сайта (выгрузка и обработка данных из бд). Возможно нужно будет писать скрипты для записи данных в бд. Обязательно опыт работы с маркетплейсами, орм sqlalchemy

Скрипты и боты

Опубликован:
17.10.24 18:49

Бюджет:
2000 руб.~$24.97

Скрипт одновременного selenium с разными прокси

Нужно готовое решение python, selenium, браузер не принципиален задача состоит в том, чтобы скрипт мог запускать одновременно 3-5-10-50 инстансов, в каждом была использована своя прокси, в каждом свой профиль из папки. еще раз. свой профиль в каждом окне, своя прокси (с авторизацией, если принципиально без, окей, такой вариант так же рассматриваю). еще раз. нужен скрипт python, запускаю, открывается 5 браузеров, в каждом, к примеру, internet.yandex.ru, вижу в каждом окне разные ip (разные прокси), разные профили - задание выполнено. p.s. использование под виндой

Скрипты и боты

Опубликован:
17.10.24 14:30

Бюджет:
2000 руб.~$24.97

Нужен разработчик на Python

Привет ищу разработчика на Питоне. Задача собрать смарт аватар. https://transfiles.ru/7amlr В видео описала лучше задачу. Посмотри плиз

Скрипты и боты

Опубликован:
17.10.24 13:49

Бюджет:
4000 руб.~$49.94

Декомпиляция и компиляция программы на Python

Нужен человек, который шарит в Python и сможет сделать декомпиляцию файлов программы, написанной на Python, заменить в ней во всех местах название одного сайта на другой сайт, и потом обратно скомпилировать, чтобы программа могла абсолютно также работать со вторым сайтом. Сайты идентичны по внутреннему устройству.

Десктоп программирование

Опубликован:
17.10.24 13:22

Бюджет:
3000 руб.~$37.45

Создание бэктестера

Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил архив с ТЗ и всей сопутствующей документацией. Стартовая точка - файл "tz-clean". Бюджет 15000р. Являюсь прямым заказчиком. Пишите, пожалуйста, свои расценки и сроки. https://disk.yandex.ru/d/G9bGXyvPfA8MSg

Юзабилити, тесты и помощь

Опубликован:
17.10.24 11:35

Бюджет:
30000 руб.~$374.49

Создание бэктестера

Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил... руб

Программирование и IT

Опубликован:
17.10.24 11:23

Бюджет:
15000 руб.~$187.25

Перевод сайта на на русский язык [Python + Django]

Есть интернет-магазин с фэйковыми товарами, написанный на Python + Django: https://shop.quality-academy.ru На фронт отдаются HTML страницы, в которых захардкожены английские слова. Эти все слова необходимо перевести на русский язык (Page, Categories, Stores, Blog, все сообщения об ошибках и т.д.) В общем всё, что есть на странице должно быть переведено на русский язык в ручную, автопереводчик на сайте отключен и использоваться не будет. Контент наполняется из админки, он уже на русском языке. + необходимо будет добавить баги на сайт (фронтовые по части UI и функциональные), список ошибок напишу.

Доработка и настройка сайта

Опубликован:
17.10.24 11:10

Бюджет:
5000 руб.~$62.42

Разработать бота для сбора участников беседы и приглашения их в другую

Техническое задание (ТЗ) на разработку Telegram-бота для добавления участников группы1. Цель:Создать бота для Telegram, который собирает список участников группы (чата) и добавляет их в другую указанную группу.2. Основные функции:2.1. Сбор участников группы: • Бот добавляется в целевую группу (чат). • Собирает список участников, имея доступ к их ID. • Автоматически обновляет список при изменении участников.2.2. Добавление в новую группу: • Бот добавляет всех собранных участников в новую группу. • Администраторы указывают, в какую группу нужно добавлять участников. • Учет ограничений Telegram на добавление пользователей (например, бот может добавлять только тех, кто разрешил приглашения).3. Команды: • /start — запуск бота. • /add — добавление участников в другую группу. • /status — проверка статуса (сколько человек добавлено).4. Технические требования: • Язык: Python (библиотека aiogram/telebot). • Хранилище данных: база данных (например, SQLite). • Соблюдение лимитов Telegram API.5. Тестирование и поддержка: • Тестирование на небольшой группе. • Техническая поддержка 1 месяц.6. Дополнительные опции (в будущем): • Возможность добавлять пользователей автоматически при их вступлении в группу.тг: @bushamenamana

Bots

Опубликован:
17.10.24 10:45

Бюджет:
3000 руб.~$37.45

Сервис многофакторного синтаксического анализа

Требуется разработать сервис для сбора комментариев к постам в наших аккаунтах социальных сетей. Сервис должен поддерживать фильтрацию, обход ограничений API и обновление данных в реальном времени. Стек технологий: Python3, Selenium, Arsenic, MongoDB и Elasticsearch. Развертывание на Ubuntu.Подробнее в лс, спасибо.P/s Исполнителей без отзывов не рассматриваю, спасибо за понимание

Bots

Опубликован:
17.10.24 09:46

Бюджет:
20000 руб.~$249.66

Создать бота

Техническое задание (ТЗ) на разработку бота для отправки заявок с сайта в Telegram канал или чат --- ### 1. Общая информация Название проекта: Бот для отправки заявок Цель проекта: Автоматизация процесса отправки заявок с сайта в Telegram канал или чат. Платформа: Telegram Язык программирования: указать предпочтительный язык, например, Python Библиотека для работы с Telegram API: указать библиотеку, например, python-telegram-bot ### 2. Функциональные требования #### 2.1. Получение данных - Бот должен иметь возможность получать данные о заявках с сайта через API или вебхук. - Формат данных должен включать следующие поля: - Имя клиента - Контактные данные (телефон, email) - Текст заявки - Дата и время заявки ТЗ https://docs.google.com/document/d/1qP0dG4Hr7DRVSCfP08_V2lX7KuRpXdhCOomxKC2CMK0/edit?tab=t.0

Скрипты и боты

Опубликован:
17.10.24 09:32

Бюджет:
6000 руб.~$74.9

Python3.12 + Сервис по работе с он-лайн досками

Копирую ссылку с он-лайн досок в категории недвижимость - передаю в сервисПосле сервис предоставляет мне apiОн мне предоставляет информацию:1. Снято с публикации2. Ценареализация -пускай будет python3.12 и выше, апиха на fastapi + sqlalchemy + pydantic,Db - postgresql/mysqlПринципиальная схема работы:1)POST /v1/urls добавить url для периодического чека{"url": "htt...://av.to.ru/..."}- принимает url определенных форматов (нужны примеры)- распознает какой источник данных (онлайн площадок)- кладет запись в БД видаURLid - uuidurl - url как есть в определенном формате(для каждого типа свой)source_type авито циан и тпlast_check_ts время последнего чека (nullable)is_publicated опубликовано или снять с публикации(nullable)price цена (nullable)GET /v1/urls/ получить вышеуказанный объект по uuidGET /v1/urls/?url= получить вышеуказанный объект по urlPOST /v1/urls/?url= получить вышеуказанный объект по url (c обновлением данных с сайта источника)POST /v1/urls/. получить вышеуказанный объект по url (c обновлением данных с сайта источника)DELETE /v1/urls/ удаляет url из бд2) должно быть периодическое фоновое задание - реализовано может быть по средством cron , или других механизмов - можно обсудитьдолжно работать так: идем по всем url из бд где обновления не было никогда либо было раньше чем сутки назад, идет на сайт источника иобноаляет данные в БД.Вопрос- ответ1. Какое примерное количество URL'ов планируется обрабатывать? Это поможет определить необходимую производительность системы и выбрать оптимальную стратегию масштабирования.2. Есть ли требования к времени отклика API, особенно для методов с обновлением данных?3. Планируется ли интеграция с другими сервисами помимо онлайн площадок? Если да, то с какими?4. Какие меры безопасности нужно предусмотреть для API? Например, аутентификация, ограничение запросов и т.д.5. Будем ли использовать proxy? Возможно уже куплен пакет, если нет потребуются мобильные на время разработки.6. Какие требования к логированию и мониторингу системы?7. Планируется ли разработка клиентской части или только API?8. Механизм обработки ошибок при парсинге сайтов, так как структура страниц может меняться, и нужно предусмотреть механизмы обнаружения и обработки таких изменений.1) ~ 0.1K - 10K2) требований нет - но порядка 30ms в 95песентиле на GET будем считать норм, при нагрузке 100rps3) система должна быть толерантна к добавлению очередного провайдера, провайдер будет конфигурацией системы, грубо говоря провайдер этонекий паттерн url-a + некий обработчик способный по данному урлу сходить4) на данном этапе это внутренний сервис - аутентификация может отсутствовать5) прокси должно быть конфигарацией провайдера - пока никаких пакетов нет - в их необходимость в тч для разработки нужно убедиться6) пока требований нет - пускай будет логгирование в файл на диск.7) апи простое клиент не потребуется8) ошибки обработки пока будем писать в тот же лог что в пункте 6) в особой обработке данных кейсов смысла пока не видно

Backend

Опубликован:
17.10.24 07:49

Бюджет:
600 руб.~$7.49

Автоматизация заказов, прием через тг бота. БД

Нужна программа для автоматизаций заказов с crm панелью. Прием заказов через телеграм бота или вручную. Обработка в авторежиме или через интерфейс. Заказ через Playwright или селениум (желательно PW, потому что он новее). Пример работы: Клиент отправляет заказ боту Бот просчитывает сумму заказа с применением промокода Отправляет клиенту для подтверждения Записывает и показывает админу Админ выбирает аккаунт, с которого нужно оформить заказы и промокод, нажимает оформить. Бот выбирает нужный регион, адрес, промокод, аккаунт и заходит на сайт и оформляет корзину, затем делится с результатами работы с клиентом и с админом (записывает нужные данные) Это очень коротко без деталей работы уведомлений, срм системы, менеджера аккаунтов, отслеживание посылок, оплаты клиентов и тд. Примерные фишки: Уведомление админу и клиенту о новом заказе, истечение промокода, не оплаченный заказ, доставленный заказ и тд. База аккаунтов в интерфейсе с возможностью сортировки по данным (кол-во заказа, вознаграждения, написанные на товар отзывы и тд) Менеджер аккаунтов, который будет предлагать для заказа аккаунт где заказанные товары не встречаются или мало встречаются с товарами в корзине. Это не все что должно быть, можем обговорить бюджет с учетом того что тут не полное тз JavaScript, Python, Excel, CRM, Aiogram, Playwright, UI&UX, Selenium, React, SPA https://rutube.ru/video/private/24fbb8de3df9beffe503a04844f1e37f/?r=wd&p=Z2V8MrqfRQDlcmYBwIQKFw

Скрипты и боты

Опубликован:
17.10.24 07:16

Бюджет:
120000 руб.~$1497.95

Настройка хостинга для работы сайта

Необходимо настроить хостинг для работы сайта с php и python скриптами.

Other

Опубликован:
17.10.24 04:57

Бюджет:
500 руб.~$6.25

Скрипт App Store

Реверс-инжиниринг протокола App Store - автономное выполнение, реализация на Python, кроссплатформенная поддержка (Windows/Mac), поддержка высокой конкурентности, подделка отпечатков, интеграция прокси-сервера для IP

Скрипты и боты

Опубликован:
17.10.24 03:08

Бюджет:
200000 руб.~$2496.57

Необходимо настроить хостинг

Требуется настроить хостинг, чтобы .php скрипт запускался. Также, чтобы python скрипт тоже запукался.

Backend

Опубликован:
17.10.24 00:40

Бюджет:
300 руб.~$3.75

Python3.12 + Сервис по работе с авито

Сервис:Копирую ссылку с авито, циан, яндекс недвижимость - передаю в сервисПосле сервис предоставляет мне apiОн мне предоставляет информацию:1. Снято с публикации2. Ценареализация - пускай будет python3.12 и выше, апиха на fastapi + sqlalchemy + pydantic,Db - postgresql/mysql Принципиальная схема работы:1) POST /v1/urls добавить url для периодического чека{"url": "htt...://av.to.ru/..."}- принимает url определенных форматов (нужны примеры)- распознает какой источник данных (авито циан и тп)- кладет запись в БД видаURL id - uuid url - url как есть в определенном формате(для каждого типа свой) source_type авито циан и тп last_check_ts время последнего чека (nullable) is_publicated опубликовано или снять с публикации(nullable) price цена (nullable) GET /v1/urls/ получить вышеуказанный объект по uuidGET /v1/urls/?url= получить вышеуказанный объект по urlPOST /v1/urls/?url= получить вышеуказанный объект по url (c обновлением данных с сайта источника)POST /v1/urls/. получить вышеуказанный объект по url (c обновлением данных с сайта источника)DELETE /v1/urls/ удаляет url из бд2) должно быть периодическое фоновое задание - реализовано может быть по средством cron , или других механизмов - можно обсудитьдолжно работать так: идем по всем url из бд где обновления не было никогда либо было раньше чем сутки назад, идет на сайт источника и обноаляет данные в БД.Вопрос- ответ1. Какое примерное количество URL'ов планируется обрабатывать? Это поможет определить необходимую производительность системы и выбрать оптимальную стратегию масштабирования.2. Есть ли требования к времени отклика API, особенно для методов с обновлением данных?3. Планируется ли интеграция с другими сервисами помимо Авито, Циан и Яндекс Недвижимости? Если да, то с какими?4. Какие меры безопасности нужно предусмотреть для API? Например, аутентификация, ограничение запросов и т.д.5. Будем ли использовать proxy? Возможно уже куплен пакет, если нет потребуются мобильные на время разработки.6. Какие требования к логированию и мониторингу системы?7. Планируется ли разработка клиентской части или только API?8. Механизм обработки ошибок при парсинге сайтов, так как структура страниц может меняться, и нужно предусмотреть механизмы обнаружения и обработки таких изменений.1) ~ 0.1K - 10K2) требований нет - но порядка 30ms в 95песентиле на GET будем считать норм, при нагрузке 100rps 3) система должна быть толерантна к добавлению очередного провайдера, провайдер будет конфигурацией системы, грубо говоря провайдер это некий паттерн url-a + некий обработчик способный по данному урлу сходить4) на данном этапе это внутренний сервис - аутентификация может отсутствовать5) прокси должно быть конфигарацией провайдера - пока никаких пакетов нет - в их необходимость в тч для разработки нужно убедиться6) пока требований нет - пускай будет логгирование в файл на диск.7) апи простое клиент не потребуется8) ошибки обработки пока будем писать в тот же лог что в пункте 6) в особой обработке данных кейсов смысла пока не видно

Backend

Опубликован:
16.10.24 20:40

Бюджет:
600 руб.~$7.49

Парсер для магазина wordpress

Здравствуйте. Есть сайт поставщика, с которого нужно парсить товары - двигатели: название, фото, цена, описание - https://motorland.by/engines/ Далее есть два пути: 1. У меня есть сайт на wordpress: https://dvc.by-auto-parts.ru/ Cоответственно делать парсинг товаров в него 2. Сделать магазин с нуля: найти готовый шаблон/тему и туда сделать парсинг. парсер должен БЫТЬ БЕЗ использования python И прочих ВЕЩЕЙ, ДЛЯ который НУЖЕН отдельный сервер! Что можете предложить?

Скрипты и боты

Опубликован:
16.10.24 19:07

Бюджет:
5000 руб.~$62.42

Создание основы для парсера

Данный заказ включает в себя лишь создание основы для парсера. Работы тут буквально на полчаса-час. Обязательно использование: Python, Selenium. Обратить внимание: на сайте есть защиты от парсинга, поэтому, прежде чем отправлять отклик, необходимо перейти на сайт, попробовать обойти защиту, и если получится, отправлять сразу отклик. Тз: Необходимо зайти на сайт tele2(https://penza.t2.ru/), пройти защиты, нажать кнопку войти, затем дать свободу пользователю и ждать, как он зайдет в аккаунт(необходимо поставить долгое неявное ожидание и ждать появление любого элемента, который появляется только после авторизации), закрыть браузер.

Скрипты и боты

Опубликован:
16.10.24 17:47

Бюджет:
1000 руб.~$12.49

Сервис, который передается информация с Авито python3.12 +

Backend

Опубликован:
16.10.24 17:24

Бюджет:
600 руб.~$7.49