Спец по веб-скрапингу и автоматизации обработки данных

Скрипты и боты 28.10.24 15:26

Бюджет: 80000 руб.

Вакансия: Специалист по веб-скрапингу и автоматизации обработки данных (проект) Мы ищем Python-разработчика с опытом веб-скрапинга для работы над проектом автоматизации сбора данных с международных сайтов, их обработки и вывода в Excel с формулами. Задачи: - Разработка парсера для сбора данных с сайтов (наименование товара, цена, наличие) по запросу. - Обработка данных с использованием BeautifulSoup, Scrapy, Selenium и pandas, формирование Excel-таблиц с расчетами. - Настройка алгоритма для автоматического поиска партномеров по 3-м ресурсам: Mouser, Digi-Key, Arrow. - Определение доступности и стоимости компонентов, сравнение предложений и создание финальной таблицы с данными от разных источников. - Подбор аналогов при отсутствии нужного компонента, интерпретация данных для готового коммерческого предложения. Функционал MVP: 1. Парсинг данных по заданным ресурсам. 2. Сравнение предложений по стоимости и срокам поставки. 3. Подготовка итоговой таблицы с учетом запрашиваемых и предложенных партномеров. 4. Генерация коммерческого предложения. На этапе тестирования мы рассчитываем на обратную связь для улучшения работы сервиса. В дальнейшем планируется перенос функционала в Telegram-бот для удобства использования. Проектная работа, с возможностью долгосрочного сотрудничества.

Найдено 6349 результатов

Создание бэктестера

Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил... руб

Программирование и IT

Опубликован:
17.10.24 11:23

Бюджет:
15000 руб.~$187.25

Перевод сайта на на русский язык [Python + Django]

Есть интернет-магазин с фэйковыми товарами, написанный на Python + Django: https://shop.quality-academy.ru На фронт отдаются HTML страницы, в которых захардкожены английские слова. Эти все слова необходимо перевести на русский язык (Page, Categories, Stores, Blog, все сообщения об ошибках и т.д.) В общем всё, что есть на странице должно быть переведено на русский язык в ручную, автопереводчик на сайте отключен и использоваться не будет. Контент наполняется из админки, он уже на русском языке. + необходимо будет добавить баги на сайт (фронтовые по части UI и функциональные), список ошибок напишу.

Доработка и настройка сайта

Опубликован:
17.10.24 11:10

Бюджет:
5000 руб.~$62.42

Разработать бота для сбора участников беседы и приглашения их в другую

Техническое задание (ТЗ) на разработку Telegram-бота для добавления участников группы1. Цель:Создать бота для Telegram, который собирает список участников группы (чата) и добавляет их в другую указанную группу.2. Основные функции:2.1. Сбор участников группы: • Бот добавляется в целевую группу (чат). • Собирает список участников, имея доступ к их ID. • Автоматически обновляет список при изменении участников.2.2. Добавление в новую группу: • Бот добавляет всех собранных участников в новую группу. • Администраторы указывают, в какую группу нужно добавлять участников. • Учет ограничений Telegram на добавление пользователей (например, бот может добавлять только тех, кто разрешил приглашения).3. Команды: • /start — запуск бота. • /add — добавление участников в другую группу. • /status — проверка статуса (сколько человек добавлено).4. Технические требования: • Язык: Python (библиотека aiogram/telebot). • Хранилище данных: база данных (например, SQLite). • Соблюдение лимитов Telegram API.5. Тестирование и поддержка: • Тестирование на небольшой группе. • Техническая поддержка 1 месяц.6. Дополнительные опции (в будущем): • Возможность добавлять пользователей автоматически при их вступлении в группу.тг: @bushamenamana

Bots

Опубликован:
17.10.24 10:45

Бюджет:
3000 руб.~$37.45

Сервис многофакторного синтаксического анализа

Требуется разработать сервис для сбора комментариев к постам в наших аккаунтах социальных сетей. Сервис должен поддерживать фильтрацию, обход ограничений API и обновление данных в реальном времени. Стек технологий: Python3, Selenium, Arsenic, MongoDB и Elasticsearch. Развертывание на Ubuntu.Подробнее в лс, спасибо.P/s Исполнителей без отзывов не рассматриваю, спасибо за понимание

Bots

Опубликован:
17.10.24 09:46

Бюджет:
20000 руб.~$249.66

Создать бота

Техническое задание (ТЗ) на разработку бота для отправки заявок с сайта в Telegram канал или чат --- ### 1. Общая информация Название проекта: Бот для отправки заявок Цель проекта: Автоматизация процесса отправки заявок с сайта в Telegram канал или чат. Платформа: Telegram Язык программирования: указать предпочтительный язык, например, Python Библиотека для работы с Telegram API: указать библиотеку, например, python-telegram-bot ### 2. Функциональные требования #### 2.1. Получение данных - Бот должен иметь возможность получать данные о заявках с сайта через API или вебхук. - Формат данных должен включать следующие поля: - Имя клиента - Контактные данные (телефон, email) - Текст заявки - Дата и время заявки ТЗ https://docs.google.com/document/d/1qP0dG4Hr7DRVSCfP08_V2lX7KuRpXdhCOomxKC2CMK0/edit?tab=t.0

Скрипты и боты

Опубликован:
17.10.24 09:32

Бюджет:
6000 руб.~$74.9

Python3.12 + Сервис по работе с он-лайн досками

Копирую ссылку с он-лайн досок в категории недвижимость - передаю в сервисПосле сервис предоставляет мне apiОн мне предоставляет информацию:1. Снято с публикации2. Ценареализация -пускай будет python3.12 и выше, апиха на fastapi + sqlalchemy + pydantic,Db - postgresql/mysqlПринципиальная схема работы:1)POST /v1/urls добавить url для периодического чека{"url": "htt...://av.to.ru/..."}- принимает url определенных форматов (нужны примеры)- распознает какой источник данных (онлайн площадок)- кладет запись в БД видаURLid - uuidurl - url как есть в определенном формате(для каждого типа свой)source_type авито циан и тпlast_check_ts время последнего чека (nullable)is_publicated опубликовано или снять с публикации(nullable)price цена (nullable)GET /v1/urls/ получить вышеуказанный объект по uuidGET /v1/urls/?url= получить вышеуказанный объект по urlPOST /v1/urls/?url= получить вышеуказанный объект по url (c обновлением данных с сайта источника)POST /v1/urls/. получить вышеуказанный объект по url (c обновлением данных с сайта источника)DELETE /v1/urls/ удаляет url из бд2) должно быть периодическое фоновое задание - реализовано может быть по средством cron , или других механизмов - можно обсудитьдолжно работать так: идем по всем url из бд где обновления не было никогда либо было раньше чем сутки назад, идет на сайт источника иобноаляет данные в БД.Вопрос- ответ1. Какое примерное количество URL'ов планируется обрабатывать? Это поможет определить необходимую производительность системы и выбрать оптимальную стратегию масштабирования.2. Есть ли требования к времени отклика API, особенно для методов с обновлением данных?3. Планируется ли интеграция с другими сервисами помимо онлайн площадок? Если да, то с какими?4. Какие меры безопасности нужно предусмотреть для API? Например, аутентификация, ограничение запросов и т.д.5. Будем ли использовать proxy? Возможно уже куплен пакет, если нет потребуются мобильные на время разработки.6. Какие требования к логированию и мониторингу системы?7. Планируется ли разработка клиентской части или только API?8. Механизм обработки ошибок при парсинге сайтов, так как структура страниц может меняться, и нужно предусмотреть механизмы обнаружения и обработки таких изменений.1) ~ 0.1K - 10K2) требований нет - но порядка 30ms в 95песентиле на GET будем считать норм, при нагрузке 100rps3) система должна быть толерантна к добавлению очередного провайдера, провайдер будет конфигурацией системы, грубо говоря провайдер этонекий паттерн url-a + некий обработчик способный по данному урлу сходить4) на данном этапе это внутренний сервис - аутентификация может отсутствовать5) прокси должно быть конфигарацией провайдера - пока никаких пакетов нет - в их необходимость в тч для разработки нужно убедиться6) пока требований нет - пускай будет логгирование в файл на диск.7) апи простое клиент не потребуется8) ошибки обработки пока будем писать в тот же лог что в пункте 6) в особой обработке данных кейсов смысла пока не видно

Backend

Опубликован:
17.10.24 07:49

Бюджет:
600 руб.~$7.49

Автоматизация заказов, прием через тг бота. БД

Нужна программа для автоматизаций заказов с crm панелью. Прием заказов через телеграм бота или вручную. Обработка в авторежиме или через интерфейс. Заказ через Playwright или селениум (желательно PW, потому что он новее). Пример работы: Клиент отправляет заказ боту Бот просчитывает сумму заказа с применением промокода Отправляет клиенту для подтверждения Записывает и показывает админу Админ выбирает аккаунт, с которого нужно оформить заказы и промокод, нажимает оформить. Бот выбирает нужный регион, адрес, промокод, аккаунт и заходит на сайт и оформляет корзину, затем делится с результатами работы с клиентом и с админом (записывает нужные данные) Это очень коротко без деталей работы уведомлений, срм системы, менеджера аккаунтов, отслеживание посылок, оплаты клиентов и тд. Примерные фишки: Уведомление админу и клиенту о новом заказе, истечение промокода, не оплаченный заказ, доставленный заказ и тд. База аккаунтов в интерфейсе с возможностью сортировки по данным (кол-во заказа, вознаграждения, написанные на товар отзывы и тд) Менеджер аккаунтов, который будет предлагать для заказа аккаунт где заказанные товары не встречаются или мало встречаются с товарами в корзине. Это не все что должно быть, можем обговорить бюджет с учетом того что тут не полное тз JavaScript, Python, Excel, CRM, Aiogram, Playwright, UI&UX, Selenium, React, SPA https://rutube.ru/video/private/24fbb8de3df9beffe503a04844f1e37f/?r=wd&p=Z2V8MrqfRQDlcmYBwIQKFw

Скрипты и боты

Опубликован:
17.10.24 07:16

Бюджет:
120000 руб.~$1497.95

Настройка хостинга для работы сайта

Необходимо настроить хостинг для работы сайта с php и python скриптами.

Other

Опубликован:
17.10.24 04:57

Бюджет:
500 руб.~$6.25

Скрипт App Store

Реверс-инжиниринг протокола App Store - автономное выполнение, реализация на Python, кроссплатформенная поддержка (Windows/Mac), поддержка высокой конкурентности, подделка отпечатков, интеграция прокси-сервера для IP

Скрипты и боты

Опубликован:
17.10.24 03:08

Бюджет:
200000 руб.~$2496.57

Необходимо настроить хостинг

Требуется настроить хостинг, чтобы .php скрипт запускался. Также, чтобы python скрипт тоже запукался.

Backend

Опубликован:
17.10.24 00:40

Бюджет:
300 руб.~$3.75

Python3.12 + Сервис по работе с авито

Сервис:Копирую ссылку с авито, циан, яндекс недвижимость - передаю в сервисПосле сервис предоставляет мне apiОн мне предоставляет информацию:1. Снято с публикации2. Ценареализация - пускай будет python3.12 и выше, апиха на fastapi + sqlalchemy + pydantic,Db - postgresql/mysql Принципиальная схема работы:1) POST /v1/urls добавить url для периодического чека{"url": "htt...://av.to.ru/..."}- принимает url определенных форматов (нужны примеры)- распознает какой источник данных (авито циан и тп)- кладет запись в БД видаURL id - uuid url - url как есть в определенном формате(для каждого типа свой) source_type авито циан и тп last_check_ts время последнего чека (nullable) is_publicated опубликовано или снять с публикации(nullable) price цена (nullable) GET /v1/urls/ получить вышеуказанный объект по uuidGET /v1/urls/?url= получить вышеуказанный объект по urlPOST /v1/urls/?url= получить вышеуказанный объект по url (c обновлением данных с сайта источника)POST /v1/urls/. получить вышеуказанный объект по url (c обновлением данных с сайта источника)DELETE /v1/urls/ удаляет url из бд2) должно быть периодическое фоновое задание - реализовано может быть по средством cron , или других механизмов - можно обсудитьдолжно работать так: идем по всем url из бд где обновления не было никогда либо было раньше чем сутки назад, идет на сайт источника и обноаляет данные в БД.Вопрос- ответ1. Какое примерное количество URL'ов планируется обрабатывать? Это поможет определить необходимую производительность системы и выбрать оптимальную стратегию масштабирования.2. Есть ли требования к времени отклика API, особенно для методов с обновлением данных?3. Планируется ли интеграция с другими сервисами помимо Авито, Циан и Яндекс Недвижимости? Если да, то с какими?4. Какие меры безопасности нужно предусмотреть для API? Например, аутентификация, ограничение запросов и т.д.5. Будем ли использовать proxy? Возможно уже куплен пакет, если нет потребуются мобильные на время разработки.6. Какие требования к логированию и мониторингу системы?7. Планируется ли разработка клиентской части или только API?8. Механизм обработки ошибок при парсинге сайтов, так как структура страниц может меняться, и нужно предусмотреть механизмы обнаружения и обработки таких изменений.1) ~ 0.1K - 10K2) требований нет - но порядка 30ms в 95песентиле на GET будем считать норм, при нагрузке 100rps 3) система должна быть толерантна к добавлению очередного провайдера, провайдер будет конфигурацией системы, грубо говоря провайдер это некий паттерн url-a + некий обработчик способный по данному урлу сходить4) на данном этапе это внутренний сервис - аутентификация может отсутствовать5) прокси должно быть конфигарацией провайдера - пока никаких пакетов нет - в их необходимость в тч для разработки нужно убедиться6) пока требований нет - пускай будет логгирование в файл на диск.7) апи простое клиент не потребуется8) ошибки обработки пока будем писать в тот же лог что в пункте 6) в особой обработке данных кейсов смысла пока не видно

Backend

Опубликован:
16.10.24 20:40

Бюджет:
600 руб.~$7.49

Парсер для магазина wordpress

Здравствуйте. Есть сайт поставщика, с которого нужно парсить товары - двигатели: название, фото, цена, описание - https://motorland.by/engines/ Далее есть два пути: 1. У меня есть сайт на wordpress: https://dvc.by-auto-parts.ru/ Cоответственно делать парсинг товаров в него 2. Сделать магазин с нуля: найти готовый шаблон/тему и туда сделать парсинг. парсер должен БЫТЬ БЕЗ использования python И прочих ВЕЩЕЙ, ДЛЯ который НУЖЕН отдельный сервер! Что можете предложить?

Скрипты и боты

Опубликован:
16.10.24 19:07

Бюджет:
5000 руб.~$62.42

Создание основы для парсера

Данный заказ включает в себя лишь создание основы для парсера. Работы тут буквально на полчаса-час. Обязательно использование: Python, Selenium. Обратить внимание: на сайте есть защиты от парсинга, поэтому, прежде чем отправлять отклик, необходимо перейти на сайт, попробовать обойти защиту, и если получится, отправлять сразу отклик. Тз: Необходимо зайти на сайт tele2(https://penza.t2.ru/), пройти защиты, нажать кнопку войти, затем дать свободу пользователю и ждать, как он зайдет в аккаунт(необходимо поставить долгое неявное ожидание и ждать появление любого элемента, который появляется только после авторизации), закрыть браузер.

Скрипты и боты

Опубликован:
16.10.24 17:47

Бюджет:
1000 руб.~$12.49

Сервис, который передается информация с Авито python3.12 +

Backend

Опубликован:
16.10.24 17:24

Бюджет:
600 руб.~$7.49

Оптимизировать архитектуру GAN нейросети (Pix2Pix)

Внести изменения в методы и оптимизировать архитектуру существующей рабочей нейросети (Pix2Pix) Изменения и оптимизация по списку: 1) оптимизация входящих изображений (перевод кода генератора и дискриминатора на прием изображений прямоугольного формата, сейчас квадрат )2) Генерация тепловых карт маркеров из (X;Y) координат хранимых в json для дополнительного канала на лету по мере загрузки датасета на обучение. 3) Перевод на 3D свертки (сейчас параллельные каналы) 4) Оптимизация генератора и дискриминатора на основе Progressive Growing of GANs (PGGAN) / PatchGAN (дискриминатор) 5) Оптимизация функций потерьна основе Gradient Penalty Loss / Perceptual Loss 6) Тестовое обучение модели В качестве референса есть код для каждого этапа апдейта. Copilot/ChatGPT приветствуется работа на офисной машине (RTX 3090TI, Core i9 14900) доступ через AnyDesk (на вашей стороне должен быть быстрый интернет) Только с опытом работы с GAN архитектурами Python venvDocker Flask / Fast API

Скрипты и боты

Опубликован:
16.10.24 16:38

Бюджет:
135000 руб.~$1685.19

Помочь устранить ошибку в парсере Python

Добрый день! 1) Требуется устранить ошибку в парсере Python: Float division by zero. Ошибка float division by zero возникает, когда программа пытается разделить число с плавающей точкой на ноль. В вашем скрипте эта ошибка может возникнуть в любом месте, где происходит деление на переменную, значение которой может оказаться нулевым. Вот несколько шагов, которые помогут вам устранить эту проблему: 1.Найдите место деления в коде: Вам нужно найти все места в вашем коде, где выполняются операции деления. Обычно это операции вида a / b, где b может быть равен нулю. 2.Проверка перед делением: Перед каждым делением нужно добавить проверку, чтобы убедиться, что знаменатель не равен нулю. Например: if b != 0: result = a / b else: result = 0 # или другое значение по умолчанию 3.Пример потенциальной проблемы: Если в вашем коде есть парсинг данных из профилей или видео, возможно, одно из значений (например, количество просмотров, лайков, или комментариев) оказывается равным нулю, и при расчёте показателей (например, процентного соотношения) происходит деление на ноль. 4.Логирование значений: Чтобы найти источник ошибки, можно временно добавить логирование значений перед операциями деления, чтобы понять, какие значения приводят к делению на ноль: logging.info(f"a = {a}, b = {b}") 2) Парсер поочередно переходит по нескольким ссылкам из БД. Во время работы открывается второй браузер Chrome, что некорреткно, одновременно должен быть открыт только один браузер Chrome

Скрипты и боты

Опубликован:
16.10.24 16:30

Бюджет:
3000 руб.~$37.45

Оптимизировать архитектуру GAN нейросети (Pix2Pix)

Внести изменения в методы и оптимизировать архитектуру существующей рабочей нейросети (Pix2Pix) Изменения и оптимизация по списку: 1) оптимизация входящих изображений (перевод кода генератора и дискриминатора на прием изображений прямоугольного формата, сейчас “квадрат” ) 2) Генерация тепловых карт маркеров из (X;Y) координат хранимых в json для дополнительного канала “на лету” по мере загрузки датасета на обучение. 3) Перевод на 3D свертки (сейчас параллельные каналы) 4) Оптимизация генератора и дискриминатора на основе Progressive Growing of GANs (PGGAN) / PatchGAN (дискриминатор) 5) Оптимизация функций потерьна основе Gradient Penalty Loss / Perceptual Loss 6) Тестовое обучение модели В качестве референса есть код для каждого этапа апдейта. Copilot/ChatGPT приветствуется работа на офисной машине (RTX 3090TI, Core i9 14900) доступ через AnyDesk (на вашей стороне должен быть быстрый интернет) Только с опытом работы с GAN архитектурами Python venv Docker Flask / Fast API

Scripts

Опубликован:
16.10.24 16:14

Бюджет:
70000 руб.~$873.8

Поддержка Virtual Private Network бота

Требуется опытный программист для постоянной поддержки работы бота, который генерирует ключи для пользователей по протоколу VLESS. Разработка выполнена на языке Python с использованием библиотеки Aiogram. Дополнительные функции, такие как внесение изменений, интеграция со сторонними сервисами и т.д., обсуждаются и оплачиваются отдельно. В обязанности программиста входит регулярное обслуживание кода, исправление багов и другие задачи. Оплата за правки фиксированная, обсуждается отдельно Работа по поддержке кода, исправлению багов - фиксированная ежемесячная оплата Мы ищем человека, готового к длительному сотрудничеству.

Скрипты и боты

Опубликован:
16.10.24 15:05

Бюджет:
15000 руб.~$187.25

Нужно разработать несколько сервисов

Нужно разработать несколько сервисов: Первый сервис парсит данные с сайта lenta.com. То есть его прямая задача парсить и писать данные. Необходимо находить все товары разных магазинов по разным городам. Каждый товар необходимо сохранить в базу данных, группируя их по цене. (пример пришлю) Данные необходимо сохранить в базу данных (pg, timescaledb, vm) или предложить другой вариант. Скрипт должен быть написан на python, уведомлять клиента в тг том, что парсинг начался. Когда распарсили одну категорию товара одного магазина тригернуть другой сервис(анализатор). Обязательно нужно выбрать метод парсинга сайтов, продумать механизмы обхода блокировок. Предусмотреть параллелизм. Второй сервис: Задача второго сервиса это анализ цен товаров и менеджмент подписок на цены товаров. Он работает как бот в ТГ, который получает от пользователя название товара, и верхнюю границу стоимости, которую этот товар не должен превышать. Как только цена товара меньше либо равна необходимой границы, нужно сделать уведомление в телеграм, приложив следующую инфу: (пример пришлю)

Скрипты и боты

Опубликован:
16.10.24 11:42

Бюджет:
60000 руб.~$748.98

Скрипт для сборки резюме

Необходимо чтобы скрипт на python, который собирает документы word из таблицы excel состоящих из 4 пунктов: общая информация, навыки, проекты, образование. Составлял по несколько шаблонов резюме (4 штуки: Стандарт, Шаблон ВК, Шаблон Ланит, Шаблон Кроко). В результате работы скрипта должна создаваться папка с ФИО кандидата в которую подгружается резюме по 4 шаблонам с ФИ + Название шаблона. Шаблоны и примеры по которым должны формироваться cv: https://drive.google.com/drive/folders/1dRMfaBCBl1Kl7ZqOfv8kg9cedGZ0T3pk?usp=sharing Ссылка на видео работы старой версии скрипта: https://drive.google.com/file/d/1Xb0WjUuEhNojkCzjilVNGOGcF_qgZbAl/view Инструкция работы Для использования скрипта, требуется иметь Python3. После запустить небольшой скрипт install.bat, который подгрузит одну зависимость и создаст venv. Больше это не потребуется. 1. Экспорт из Форм в формате .xlsx или .csv поместить в папку под названием "in". 2. Запустить start.bat или аналогичную команду (выше). Это требуется для доступа к venv, в которой лежит библиотека. 3. Результат будет в папке out. Дедлайн до 23.10, рассмотрение и выбор исполнителя работы до 12:00 18.10

Скрипты и боты

Опубликован:
16.10.24 10:27

Бюджет:
5000 руб.~$62.42