Парсер на PHP / Python (исправление)

Скрипты и боты 19.11.24 08:38

Бюджет: 2000 руб.

Нужна помощь исправить вот эту функцию которая формирует ссылку для парсинга. На php все работает на python не работает. На php делал по заказу. На python делал сам, по большей части все пишу с помощью гпт4, он предложил варианты, но они не работают. В общем суть функции собрать ссылки на сегодняшний день и на завтрашний день. Временно собираю с помощью селениума.

Найдено 6350 результатов

Создание бэктестера

Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил архив с ТЗ и всей сопутствующей документацией. Стартовая точка - файл "tz-clean". Бюджет 15000р. Являюсь прямым заказчиком. Пишите, пожалуйста, свои расценки и сроки. https://disk.yandex.ru/d/G9bGXyvPfA8MSg

Юзабилити, тесты и помощь

Опубликован:
17.10.24 11:35

Бюджет:
30000 руб.~$374.49

Создание бэктестера

Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил... руб

Программирование и IT

Опубликован:
17.10.24 11:23

Бюджет:
15000 руб.~$187.25

Перевод сайта на на русский язык [Python + Django]

Есть интернет-магазин с фэйковыми товарами, написанный на Python + Django: https://shop.quality-academy.ru На фронт отдаются HTML страницы, в которых захардкожены английские слова. Эти все слова необходимо перевести на русский язык (Page, Categories, Stores, Blog, все сообщения об ошибках и т.д.) В общем всё, что есть на странице должно быть переведено на русский язык в ручную, автопереводчик на сайте отключен и использоваться не будет. Контент наполняется из админки, он уже на русском языке. + необходимо будет добавить баги на сайт (фронтовые по части UI и функциональные), список ошибок напишу.

Доработка и настройка сайта

Опубликован:
17.10.24 11:10

Бюджет:
5000 руб.~$62.42

Разработать бота для сбора участников беседы и приглашения их в другую

Техническое задание (ТЗ) на разработку Telegram-бота для добавления участников группы1. Цель:Создать бота для Telegram, который собирает список участников группы (чата) и добавляет их в другую указанную группу.2. Основные функции:2.1. Сбор участников группы: • Бот добавляется в целевую группу (чат). • Собирает список участников, имея доступ к их ID. • Автоматически обновляет список при изменении участников.2.2. Добавление в новую группу: • Бот добавляет всех собранных участников в новую группу. • Администраторы указывают, в какую группу нужно добавлять участников. • Учет ограничений Telegram на добавление пользователей (например, бот может добавлять только тех, кто разрешил приглашения).3. Команды: • /start — запуск бота. • /add — добавление участников в другую группу. • /status — проверка статуса (сколько человек добавлено).4. Технические требования: • Язык: Python (библиотека aiogram/telebot). • Хранилище данных: база данных (например, SQLite). • Соблюдение лимитов Telegram API.5. Тестирование и поддержка: • Тестирование на небольшой группе. • Техническая поддержка 1 месяц.6. Дополнительные опции (в будущем): • Возможность добавлять пользователей автоматически при их вступлении в группу.тг: @bushamenamana

Bots

Опубликован:
17.10.24 10:45

Бюджет:
3000 руб.~$37.45

Сервис многофакторного синтаксического анализа

Требуется разработать сервис для сбора комментариев к постам в наших аккаунтах социальных сетей. Сервис должен поддерживать фильтрацию, обход ограничений API и обновление данных в реальном времени. Стек технологий: Python3, Selenium, Arsenic, MongoDB и Elasticsearch. Развертывание на Ubuntu.Подробнее в лс, спасибо.P/s Исполнителей без отзывов не рассматриваю, спасибо за понимание

Bots

Опубликован:
17.10.24 09:46

Бюджет:
20000 руб.~$249.66

Создать бота

Техническое задание (ТЗ) на разработку бота для отправки заявок с сайта в Telegram канал или чат --- ### 1. Общая информация Название проекта: Бот для отправки заявок Цель проекта: Автоматизация процесса отправки заявок с сайта в Telegram канал или чат. Платформа: Telegram Язык программирования: указать предпочтительный язык, например, Python Библиотека для работы с Telegram API: указать библиотеку, например, python-telegram-bot ### 2. Функциональные требования #### 2.1. Получение данных - Бот должен иметь возможность получать данные о заявках с сайта через API или вебхук. - Формат данных должен включать следующие поля: - Имя клиента - Контактные данные (телефон, email) - Текст заявки - Дата и время заявки ТЗ https://docs.google.com/document/d/1qP0dG4Hr7DRVSCfP08_V2lX7KuRpXdhCOomxKC2CMK0/edit?tab=t.0

Скрипты и боты

Опубликован:
17.10.24 09:32

Бюджет:
6000 руб.~$74.9

Python3.12 + Сервис по работе с он-лайн досками

Копирую ссылку с он-лайн досок в категории недвижимость - передаю в сервисПосле сервис предоставляет мне apiОн мне предоставляет информацию:1. Снято с публикации2. Ценареализация -пускай будет python3.12 и выше, апиха на fastapi + sqlalchemy + pydantic,Db - postgresql/mysqlПринципиальная схема работы:1)POST /v1/urls добавить url для периодического чека{"url": "htt...://av.to.ru/..."}- принимает url определенных форматов (нужны примеры)- распознает какой источник данных (онлайн площадок)- кладет запись в БД видаURLid - uuidurl - url как есть в определенном формате(для каждого типа свой)source_type авито циан и тпlast_check_ts время последнего чека (nullable)is_publicated опубликовано или снять с публикации(nullable)price цена (nullable)GET /v1/urls/ получить вышеуказанный объект по uuidGET /v1/urls/?url= получить вышеуказанный объект по urlPOST /v1/urls/?url= получить вышеуказанный объект по url (c обновлением данных с сайта источника)POST /v1/urls/. получить вышеуказанный объект по url (c обновлением данных с сайта источника)DELETE /v1/urls/ удаляет url из бд2) должно быть периодическое фоновое задание - реализовано может быть по средством cron , или других механизмов - можно обсудитьдолжно работать так: идем по всем url из бд где обновления не было никогда либо было раньше чем сутки назад, идет на сайт источника иобноаляет данные в БД.Вопрос- ответ1. Какое примерное количество URL'ов планируется обрабатывать? Это поможет определить необходимую производительность системы и выбрать оптимальную стратегию масштабирования.2. Есть ли требования к времени отклика API, особенно для методов с обновлением данных?3. Планируется ли интеграция с другими сервисами помимо онлайн площадок? Если да, то с какими?4. Какие меры безопасности нужно предусмотреть для API? Например, аутентификация, ограничение запросов и т.д.5. Будем ли использовать proxy? Возможно уже куплен пакет, если нет потребуются мобильные на время разработки.6. Какие требования к логированию и мониторингу системы?7. Планируется ли разработка клиентской части или только API?8. Механизм обработки ошибок при парсинге сайтов, так как структура страниц может меняться, и нужно предусмотреть механизмы обнаружения и обработки таких изменений.1) ~ 0.1K - 10K2) требований нет - но порядка 30ms в 95песентиле на GET будем считать норм, при нагрузке 100rps3) система должна быть толерантна к добавлению очередного провайдера, провайдер будет конфигурацией системы, грубо говоря провайдер этонекий паттерн url-a + некий обработчик способный по данному урлу сходить4) на данном этапе это внутренний сервис - аутентификация может отсутствовать5) прокси должно быть конфигарацией провайдера - пока никаких пакетов нет - в их необходимость в тч для разработки нужно убедиться6) пока требований нет - пускай будет логгирование в файл на диск.7) апи простое клиент не потребуется8) ошибки обработки пока будем писать в тот же лог что в пункте 6) в особой обработке данных кейсов смысла пока не видно

Backend

Опубликован:
17.10.24 07:49

Бюджет:
600 руб.~$7.49

Автоматизация заказов, прием через тг бота. БД

Нужна программа для автоматизаций заказов с crm панелью. Прием заказов через телеграм бота или вручную. Обработка в авторежиме или через интерфейс. Заказ через Playwright или селениум (желательно PW, потому что он новее). Пример работы: Клиент отправляет заказ боту Бот просчитывает сумму заказа с применением промокода Отправляет клиенту для подтверждения Записывает и показывает админу Админ выбирает аккаунт, с которого нужно оформить заказы и промокод, нажимает оформить. Бот выбирает нужный регион, адрес, промокод, аккаунт и заходит на сайт и оформляет корзину, затем делится с результатами работы с клиентом и с админом (записывает нужные данные) Это очень коротко без деталей работы уведомлений, срм системы, менеджера аккаунтов, отслеживание посылок, оплаты клиентов и тд. Примерные фишки: Уведомление админу и клиенту о новом заказе, истечение промокода, не оплаченный заказ, доставленный заказ и тд. База аккаунтов в интерфейсе с возможностью сортировки по данным (кол-во заказа, вознаграждения, написанные на товар отзывы и тд) Менеджер аккаунтов, который будет предлагать для заказа аккаунт где заказанные товары не встречаются или мало встречаются с товарами в корзине. Это не все что должно быть, можем обговорить бюджет с учетом того что тут не полное тз JavaScript, Python, Excel, CRM, Aiogram, Playwright, UI&UX, Selenium, React, SPA https://rutube.ru/video/private/24fbb8de3df9beffe503a04844f1e37f/?r=wd&p=Z2V8MrqfRQDlcmYBwIQKFw

Скрипты и боты

Опубликован:
17.10.24 07:16

Бюджет:
120000 руб.~$1497.95

Настройка хостинга для работы сайта

Необходимо настроить хостинг для работы сайта с php и python скриптами.

Other

Опубликован:
17.10.24 04:57

Бюджет:
500 руб.~$6.25

Скрипт App Store

Реверс-инжиниринг протокола App Store - автономное выполнение, реализация на Python, кроссплатформенная поддержка (Windows/Mac), поддержка высокой конкурентности, подделка отпечатков, интеграция прокси-сервера для IP

Скрипты и боты

Опубликован:
17.10.24 03:08

Бюджет:
200000 руб.~$2496.57

Необходимо настроить хостинг

Требуется настроить хостинг, чтобы .php скрипт запускался. Также, чтобы python скрипт тоже запукался.

Backend

Опубликован:
17.10.24 00:40

Бюджет:
300 руб.~$3.75

Python3.12 + Сервис по работе с авито

Сервис:Копирую ссылку с авито, циан, яндекс недвижимость - передаю в сервисПосле сервис предоставляет мне apiОн мне предоставляет информацию:1. Снято с публикации2. Ценареализация - пускай будет python3.12 и выше, апиха на fastapi + sqlalchemy + pydantic,Db - postgresql/mysql Принципиальная схема работы:1) POST /v1/urls добавить url для периодического чека{"url": "htt...://av.to.ru/..."}- принимает url определенных форматов (нужны примеры)- распознает какой источник данных (авито циан и тп)- кладет запись в БД видаURL id - uuid url - url как есть в определенном формате(для каждого типа свой) source_type авито циан и тп last_check_ts время последнего чека (nullable) is_publicated опубликовано или снять с публикации(nullable) price цена (nullable) GET /v1/urls/ получить вышеуказанный объект по uuidGET /v1/urls/?url= получить вышеуказанный объект по urlPOST /v1/urls/?url= получить вышеуказанный объект по url (c обновлением данных с сайта источника)POST /v1/urls/. получить вышеуказанный объект по url (c обновлением данных с сайта источника)DELETE /v1/urls/ удаляет url из бд2) должно быть периодическое фоновое задание - реализовано может быть по средством cron , или других механизмов - можно обсудитьдолжно работать так: идем по всем url из бд где обновления не было никогда либо было раньше чем сутки назад, идет на сайт источника и обноаляет данные в БД.Вопрос- ответ1. Какое примерное количество URL'ов планируется обрабатывать? Это поможет определить необходимую производительность системы и выбрать оптимальную стратегию масштабирования.2. Есть ли требования к времени отклика API, особенно для методов с обновлением данных?3. Планируется ли интеграция с другими сервисами помимо Авито, Циан и Яндекс Недвижимости? Если да, то с какими?4. Какие меры безопасности нужно предусмотреть для API? Например, аутентификация, ограничение запросов и т.д.5. Будем ли использовать proxy? Возможно уже куплен пакет, если нет потребуются мобильные на время разработки.6. Какие требования к логированию и мониторингу системы?7. Планируется ли разработка клиентской части или только API?8. Механизм обработки ошибок при парсинге сайтов, так как структура страниц может меняться, и нужно предусмотреть механизмы обнаружения и обработки таких изменений.1) ~ 0.1K - 10K2) требований нет - но порядка 30ms в 95песентиле на GET будем считать норм, при нагрузке 100rps 3) система должна быть толерантна к добавлению очередного провайдера, провайдер будет конфигурацией системы, грубо говоря провайдер это некий паттерн url-a + некий обработчик способный по данному урлу сходить4) на данном этапе это внутренний сервис - аутентификация может отсутствовать5) прокси должно быть конфигарацией провайдера - пока никаких пакетов нет - в их необходимость в тч для разработки нужно убедиться6) пока требований нет - пускай будет логгирование в файл на диск.7) апи простое клиент не потребуется8) ошибки обработки пока будем писать в тот же лог что в пункте 6) в особой обработке данных кейсов смысла пока не видно

Backend

Опубликован:
16.10.24 20:40

Бюджет:
600 руб.~$7.49

Парсер для магазина wordpress

Здравствуйте. Есть сайт поставщика, с которого нужно парсить товары - двигатели: название, фото, цена, описание - https://motorland.by/engines/ Далее есть два пути: 1. У меня есть сайт на wordpress: https://dvc.by-auto-parts.ru/ Cоответственно делать парсинг товаров в него 2. Сделать магазин с нуля: найти готовый шаблон/тему и туда сделать парсинг. парсер должен БЫТЬ БЕЗ использования python И прочих ВЕЩЕЙ, ДЛЯ который НУЖЕН отдельный сервер! Что можете предложить?

Скрипты и боты

Опубликован:
16.10.24 19:07

Бюджет:
5000 руб.~$62.42

Создание основы для парсера

Данный заказ включает в себя лишь создание основы для парсера. Работы тут буквально на полчаса-час. Обязательно использование: Python, Selenium. Обратить внимание: на сайте есть защиты от парсинга, поэтому, прежде чем отправлять отклик, необходимо перейти на сайт, попробовать обойти защиту, и если получится, отправлять сразу отклик. Тз: Необходимо зайти на сайт tele2(https://penza.t2.ru/), пройти защиты, нажать кнопку войти, затем дать свободу пользователю и ждать, как он зайдет в аккаунт(необходимо поставить долгое неявное ожидание и ждать появление любого элемента, который появляется только после авторизации), закрыть браузер.

Скрипты и боты

Опубликован:
16.10.24 17:47

Бюджет:
1000 руб.~$12.49

Сервис, который передается информация с Авито python3.12 +

Backend

Опубликован:
16.10.24 17:24

Бюджет:
600 руб.~$7.49

Оптимизировать архитектуру GAN нейросети (Pix2Pix)

Внести изменения в методы и оптимизировать архитектуру существующей рабочей нейросети (Pix2Pix) Изменения и оптимизация по списку: 1) оптимизация входящих изображений (перевод кода генератора и дискриминатора на прием изображений прямоугольного формата, сейчас квадрат )2) Генерация тепловых карт маркеров из (X;Y) координат хранимых в json для дополнительного канала на лету по мере загрузки датасета на обучение. 3) Перевод на 3D свертки (сейчас параллельные каналы) 4) Оптимизация генератора и дискриминатора на основе Progressive Growing of GANs (PGGAN) / PatchGAN (дискриминатор) 5) Оптимизация функций потерьна основе Gradient Penalty Loss / Perceptual Loss 6) Тестовое обучение модели В качестве референса есть код для каждого этапа апдейта. Copilot/ChatGPT приветствуется работа на офисной машине (RTX 3090TI, Core i9 14900) доступ через AnyDesk (на вашей стороне должен быть быстрый интернет) Только с опытом работы с GAN архитектурами Python venvDocker Flask / Fast API

Скрипты и боты

Опубликован:
16.10.24 16:38

Бюджет:
135000 руб.~$1685.19

Помочь устранить ошибку в парсере Python

Добрый день! 1) Требуется устранить ошибку в парсере Python: Float division by zero. Ошибка float division by zero возникает, когда программа пытается разделить число с плавающей точкой на ноль. В вашем скрипте эта ошибка может возникнуть в любом месте, где происходит деление на переменную, значение которой может оказаться нулевым. Вот несколько шагов, которые помогут вам устранить эту проблему: 1.Найдите место деления в коде: Вам нужно найти все места в вашем коде, где выполняются операции деления. Обычно это операции вида a / b, где b может быть равен нулю. 2.Проверка перед делением: Перед каждым делением нужно добавить проверку, чтобы убедиться, что знаменатель не равен нулю. Например: if b != 0: result = a / b else: result = 0 # или другое значение по умолчанию 3.Пример потенциальной проблемы: Если в вашем коде есть парсинг данных из профилей или видео, возможно, одно из значений (например, количество просмотров, лайков, или комментариев) оказывается равным нулю, и при расчёте показателей (например, процентного соотношения) происходит деление на ноль. 4.Логирование значений: Чтобы найти источник ошибки, можно временно добавить логирование значений перед операциями деления, чтобы понять, какие значения приводят к делению на ноль: logging.info(f"a = {a}, b = {b}") 2) Парсер поочередно переходит по нескольким ссылкам из БД. Во время работы открывается второй браузер Chrome, что некорреткно, одновременно должен быть открыт только один браузер Chrome

Скрипты и боты

Опубликован:
16.10.24 16:30

Бюджет:
3000 руб.~$37.45

Оптимизировать архитектуру GAN нейросети (Pix2Pix)

Внести изменения в методы и оптимизировать архитектуру существующей рабочей нейросети (Pix2Pix) Изменения и оптимизация по списку: 1) оптимизация входящих изображений (перевод кода генератора и дискриминатора на прием изображений прямоугольного формата, сейчас “квадрат” ) 2) Генерация тепловых карт маркеров из (X;Y) координат хранимых в json для дополнительного канала “на лету” по мере загрузки датасета на обучение. 3) Перевод на 3D свертки (сейчас параллельные каналы) 4) Оптимизация генератора и дискриминатора на основе Progressive Growing of GANs (PGGAN) / PatchGAN (дискриминатор) 5) Оптимизация функций потерьна основе Gradient Penalty Loss / Perceptual Loss 6) Тестовое обучение модели В качестве референса есть код для каждого этапа апдейта. Copilot/ChatGPT приветствуется работа на офисной машине (RTX 3090TI, Core i9 14900) доступ через AnyDesk (на вашей стороне должен быть быстрый интернет) Только с опытом работы с GAN архитектурами Python venv Docker Flask / Fast API

Scripts

Опубликован:
16.10.24 16:14

Бюджет:
70000 руб.~$873.8

Поддержка Virtual Private Network бота

Требуется опытный программист для постоянной поддержки работы бота, который генерирует ключи для пользователей по протоколу VLESS. Разработка выполнена на языке Python с использованием библиотеки Aiogram. Дополнительные функции, такие как внесение изменений, интеграция со сторонними сервисами и т.д., обсуждаются и оплачиваются отдельно. В обязанности программиста входит регулярное обслуживание кода, исправление багов и другие задачи. Оплата за правки фиксированная, обсуждается отдельно Работа по поддержке кода, исправлению багов - фиксированная ежемесячная оплата Мы ищем человека, готового к длительному сотрудничеству.

Скрипты и боты

Опубликован:
16.10.24 15:05

Бюджет:
15000 руб.~$187.25

Нужно разработать несколько сервисов

Нужно разработать несколько сервисов: Первый сервис парсит данные с сайта lenta.com. То есть его прямая задача парсить и писать данные. Необходимо находить все товары разных магазинов по разным городам. Каждый товар необходимо сохранить в базу данных, группируя их по цене. (пример пришлю) Данные необходимо сохранить в базу данных (pg, timescaledb, vm) или предложить другой вариант. Скрипт должен быть написан на python, уведомлять клиента в тг том, что парсинг начался. Когда распарсили одну категорию товара одного магазина тригернуть другой сервис(анализатор). Обязательно нужно выбрать метод парсинга сайтов, продумать механизмы обхода блокировок. Предусмотреть параллелизм. Второй сервис: Задача второго сервиса это анализ цен товаров и менеджмент подписок на цены товаров. Он работает как бот в ТГ, который получает от пользователя название товара, и верхнюю границу стоимости, которую этот товар не должен превышать. Как только цена товара меньше либо равна необходимой границы, нужно сделать уведомление в телеграм, приложив следующую инфу: (пример пришлю)

Скрипты и боты

Опубликован:
16.10.24 11:42

Бюджет:
60000 руб.~$748.98