Разработка высоконагруженной CRUD-системы на python

Backend 24.10.24 13:03

Бюджет: 50000 руб.

Имеется CRUD-система с ИИ-модулем обработки данных, которая автоматизирует документооборот предприятия в несколько шагов - делает OCR файлов, работает с разными БД и, выполняет векторный поиск по каталогу, и в конце отправляет результаты в клиентское приложение.Несколько шагов в цепочке медленные, а нагрузка высокая, поэтому с оркестрацией всего приложения есть много проблем.Стэк: python, asyncio БД: postgres, pgvector ИИ часть писал я, а асинхронную обвязку написал разработчик, который вышел из проекта. Ищу ему на замену опытного бэкэндера чтобы подхватить проект и вместе развивать его дальше, поскольку клиент доволен и будет продолжение.Текущая задачи: - оптимизация ботлнеков асинхронной архитектуры приложения с целью оптимизировать время обработки файлов Дальше много всего интересного, поскольку готовим второй этап интеграции к заказчику. Исполнителей выбираю по опыту на релевантных проектах и рейтингу на хабр-фриланс.Чтобы сэкономить время, в комментариях напишите пару слов про асинхронные системы которые вы делали самостоятельно, оставляейте контакты и вашу ставку оплаты.

Найдено 6362 результата

Настройка хостинга для работы сайта

Необходимо настроить хостинг для работы сайта с php и python скриптами.

Other

Опубликован:
17.10.24 04:57

Бюджет:
500 руб.~$6.25

Скрипт App Store

Реверс-инжиниринг протокола App Store - автономное выполнение, реализация на Python, кроссплатформенная поддержка (Windows/Mac), поддержка высокой конкурентности, подделка отпечатков, интеграция прокси-сервера для IP

Скрипты и боты

Опубликован:
17.10.24 03:08

Бюджет:
200000 руб.~$2496.57

Необходимо настроить хостинг

Требуется настроить хостинг, чтобы .php скрипт запускался. Также, чтобы python скрипт тоже запукался.

Backend

Опубликован:
17.10.24 00:40

Бюджет:
300 руб.~$3.75

Python3.12 + Сервис по работе с авито

Сервис:Копирую ссылку с авито, циан, яндекс недвижимость - передаю в сервисПосле сервис предоставляет мне apiОн мне предоставляет информацию:1. Снято с публикации2. Ценареализация - пускай будет python3.12 и выше, апиха на fastapi + sqlalchemy + pydantic,Db - postgresql/mysql Принципиальная схема работы:1) POST /v1/urls добавить url для периодического чека{"url": "htt...://av.to.ru/..."}- принимает url определенных форматов (нужны примеры)- распознает какой источник данных (авито циан и тп)- кладет запись в БД видаURL id - uuid url - url как есть в определенном формате(для каждого типа свой) source_type авито циан и тп last_check_ts время последнего чека (nullable) is_publicated опубликовано или снять с публикации(nullable) price цена (nullable) GET /v1/urls/ получить вышеуказанный объект по uuidGET /v1/urls/?url= получить вышеуказанный объект по urlPOST /v1/urls/?url= получить вышеуказанный объект по url (c обновлением данных с сайта источника)POST /v1/urls/. получить вышеуказанный объект по url (c обновлением данных с сайта источника)DELETE /v1/urls/ удаляет url из бд2) должно быть периодическое фоновое задание - реализовано может быть по средством cron , или других механизмов - можно обсудитьдолжно работать так: идем по всем url из бд где обновления не было никогда либо было раньше чем сутки назад, идет на сайт источника и обноаляет данные в БД.Вопрос- ответ1. Какое примерное количество URL'ов планируется обрабатывать? Это поможет определить необходимую производительность системы и выбрать оптимальную стратегию масштабирования.2. Есть ли требования к времени отклика API, особенно для методов с обновлением данных?3. Планируется ли интеграция с другими сервисами помимо Авито, Циан и Яндекс Недвижимости? Если да, то с какими?4. Какие меры безопасности нужно предусмотреть для API? Например, аутентификация, ограничение запросов и т.д.5. Будем ли использовать proxy? Возможно уже куплен пакет, если нет потребуются мобильные на время разработки.6. Какие требования к логированию и мониторингу системы?7. Планируется ли разработка клиентской части или только API?8. Механизм обработки ошибок при парсинге сайтов, так как структура страниц может меняться, и нужно предусмотреть механизмы обнаружения и обработки таких изменений.1) ~ 0.1K - 10K2) требований нет - но порядка 30ms в 95песентиле на GET будем считать норм, при нагрузке 100rps 3) система должна быть толерантна к добавлению очередного провайдера, провайдер будет конфигурацией системы, грубо говоря провайдер это некий паттерн url-a + некий обработчик способный по данному урлу сходить4) на данном этапе это внутренний сервис - аутентификация может отсутствовать5) прокси должно быть конфигарацией провайдера - пока никаких пакетов нет - в их необходимость в тч для разработки нужно убедиться6) пока требований нет - пускай будет логгирование в файл на диск.7) апи простое клиент не потребуется8) ошибки обработки пока будем писать в тот же лог что в пункте 6) в особой обработке данных кейсов смысла пока не видно

Backend

Опубликован:
16.10.24 20:40

Бюджет:
600 руб.~$7.49

Парсер для магазина wordpress

Здравствуйте. Есть сайт поставщика, с которого нужно парсить товары - двигатели: название, фото, цена, описание - https://motorland.by/engines/ Далее есть два пути: 1. У меня есть сайт на wordpress: https://dvc.by-auto-parts.ru/ Cоответственно делать парсинг товаров в него 2. Сделать магазин с нуля: найти готовый шаблон/тему и туда сделать парсинг. парсер должен БЫТЬ БЕЗ использования python И прочих ВЕЩЕЙ, ДЛЯ который НУЖЕН отдельный сервер! Что можете предложить?

Скрипты и боты

Опубликован:
16.10.24 19:07

Бюджет:
5000 руб.~$62.42

Создание основы для парсера

Данный заказ включает в себя лишь создание основы для парсера. Работы тут буквально на полчаса-час. Обязательно использование: Python, Selenium. Обратить внимание: на сайте есть защиты от парсинга, поэтому, прежде чем отправлять отклик, необходимо перейти на сайт, попробовать обойти защиту, и если получится, отправлять сразу отклик. Тз: Необходимо зайти на сайт tele2(https://penza.t2.ru/), пройти защиты, нажать кнопку войти, затем дать свободу пользователю и ждать, как он зайдет в аккаунт(необходимо поставить долгое неявное ожидание и ждать появление любого элемента, который появляется только после авторизации), закрыть браузер.

Скрипты и боты

Опубликован:
16.10.24 17:47

Бюджет:
1000 руб.~$12.49

Сервис, который передается информация с Авито python3.12 +

Backend

Опубликован:
16.10.24 17:24

Бюджет:
600 руб.~$7.49

Оптимизировать архитектуру GAN нейросети (Pix2Pix)

Внести изменения в методы и оптимизировать архитектуру существующей рабочей нейросети (Pix2Pix) Изменения и оптимизация по списку: 1) оптимизация входящих изображений (перевод кода генератора и дискриминатора на прием изображений прямоугольного формата, сейчас квадрат )2) Генерация тепловых карт маркеров из (X;Y) координат хранимых в json для дополнительного канала на лету по мере загрузки датасета на обучение. 3) Перевод на 3D свертки (сейчас параллельные каналы) 4) Оптимизация генератора и дискриминатора на основе Progressive Growing of GANs (PGGAN) / PatchGAN (дискриминатор) 5) Оптимизация функций потерьна основе Gradient Penalty Loss / Perceptual Loss 6) Тестовое обучение модели В качестве референса есть код для каждого этапа апдейта. Copilot/ChatGPT приветствуется работа на офисной машине (RTX 3090TI, Core i9 14900) доступ через AnyDesk (на вашей стороне должен быть быстрый интернет) Только с опытом работы с GAN архитектурами Python venvDocker Flask / Fast API

Скрипты и боты

Опубликован:
16.10.24 16:38

Бюджет:
135000 руб.~$1685.19

Помочь устранить ошибку в парсере Python

Добрый день! 1) Требуется устранить ошибку в парсере Python: Float division by zero. Ошибка float division by zero возникает, когда программа пытается разделить число с плавающей точкой на ноль. В вашем скрипте эта ошибка может возникнуть в любом месте, где происходит деление на переменную, значение которой может оказаться нулевым. Вот несколько шагов, которые помогут вам устранить эту проблему: 1.Найдите место деления в коде: Вам нужно найти все места в вашем коде, где выполняются операции деления. Обычно это операции вида a / b, где b может быть равен нулю. 2.Проверка перед делением: Перед каждым делением нужно добавить проверку, чтобы убедиться, что знаменатель не равен нулю. Например: if b != 0: result = a / b else: result = 0 # или другое значение по умолчанию 3.Пример потенциальной проблемы: Если в вашем коде есть парсинг данных из профилей или видео, возможно, одно из значений (например, количество просмотров, лайков, или комментариев) оказывается равным нулю, и при расчёте показателей (например, процентного соотношения) происходит деление на ноль. 4.Логирование значений: Чтобы найти источник ошибки, можно временно добавить логирование значений перед операциями деления, чтобы понять, какие значения приводят к делению на ноль: logging.info(f"a = {a}, b = {b}") 2) Парсер поочередно переходит по нескольким ссылкам из БД. Во время работы открывается второй браузер Chrome, что некорреткно, одновременно должен быть открыт только один браузер Chrome

Скрипты и боты

Опубликован:
16.10.24 16:30

Бюджет:
3000 руб.~$37.45

Оптимизировать архитектуру GAN нейросети (Pix2Pix)

Внести изменения в методы и оптимизировать архитектуру существующей рабочей нейросети (Pix2Pix) Изменения и оптимизация по списку: 1) оптимизация входящих изображений (перевод кода генератора и дискриминатора на прием изображений прямоугольного формата, сейчас “квадрат” ) 2) Генерация тепловых карт маркеров из (X;Y) координат хранимых в json для дополнительного канала “на лету” по мере загрузки датасета на обучение. 3) Перевод на 3D свертки (сейчас параллельные каналы) 4) Оптимизация генератора и дискриминатора на основе Progressive Growing of GANs (PGGAN) / PatchGAN (дискриминатор) 5) Оптимизация функций потерьна основе Gradient Penalty Loss / Perceptual Loss 6) Тестовое обучение модели В качестве референса есть код для каждого этапа апдейта. Copilot/ChatGPT приветствуется работа на офисной машине (RTX 3090TI, Core i9 14900) доступ через AnyDesk (на вашей стороне должен быть быстрый интернет) Только с опытом работы с GAN архитектурами Python venv Docker Flask / Fast API

Scripts

Опубликован:
16.10.24 16:14

Бюджет:
70000 руб.~$873.8

Поддержка Virtual Private Network бота

Требуется опытный программист для постоянной поддержки работы бота, который генерирует ключи для пользователей по протоколу VLESS. Разработка выполнена на языке Python с использованием библиотеки Aiogram. Дополнительные функции, такие как внесение изменений, интеграция со сторонними сервисами и т.д., обсуждаются и оплачиваются отдельно. В обязанности программиста входит регулярное обслуживание кода, исправление багов и другие задачи. Оплата за правки фиксированная, обсуждается отдельно Работа по поддержке кода, исправлению багов - фиксированная ежемесячная оплата Мы ищем человека, готового к длительному сотрудничеству.

Скрипты и боты

Опубликован:
16.10.24 15:05

Бюджет:
15000 руб.~$187.25

Нужно разработать несколько сервисов

Нужно разработать несколько сервисов: Первый сервис парсит данные с сайта lenta.com. То есть его прямая задача парсить и писать данные. Необходимо находить все товары разных магазинов по разным городам. Каждый товар необходимо сохранить в базу данных, группируя их по цене. (пример пришлю) Данные необходимо сохранить в базу данных (pg, timescaledb, vm) или предложить другой вариант. Скрипт должен быть написан на python, уведомлять клиента в тг том, что парсинг начался. Когда распарсили одну категорию товара одного магазина тригернуть другой сервис(анализатор). Обязательно нужно выбрать метод парсинга сайтов, продумать механизмы обхода блокировок. Предусмотреть параллелизм. Второй сервис: Задача второго сервиса это анализ цен товаров и менеджмент подписок на цены товаров. Он работает как бот в ТГ, который получает от пользователя название товара, и верхнюю границу стоимости, которую этот товар не должен превышать. Как только цена товара меньше либо равна необходимой границы, нужно сделать уведомление в телеграм, приложив следующую инфу: (пример пришлю)

Скрипты и боты

Опубликован:
16.10.24 11:42

Бюджет:
60000 руб.~$748.98

Скрипт для сборки резюме

Необходимо чтобы скрипт на python, который собирает документы word из таблицы excel состоящих из 4 пунктов: общая информация, навыки, проекты, образование. Составлял по несколько шаблонов резюме (4 штуки: Стандарт, Шаблон ВК, Шаблон Ланит, Шаблон Кроко). В результате работы скрипта должна создаваться папка с ФИО кандидата в которую подгружается резюме по 4 шаблонам с ФИ + Название шаблона. Шаблоны и примеры по которым должны формироваться cv: https://drive.google.com/drive/folders/1dRMfaBCBl1Kl7ZqOfv8kg9cedGZ0T3pk?usp=sharing Ссылка на видео работы старой версии скрипта: https://drive.google.com/file/d/1Xb0WjUuEhNojkCzjilVNGOGcF_qgZbAl/view Инструкция работы Для использования скрипта, требуется иметь Python3. После запустить небольшой скрипт install.bat, который подгрузит одну зависимость и создаст venv. Больше это не потребуется. 1. Экспорт из Форм в формате .xlsx или .csv поместить в папку под названием "in". 2. Запустить start.bat или аналогичную команду (выше). Это требуется для доступа к venv, в которой лежит библиотека. 3. Результат будет в папке out. Дедлайн до 23.10, рассмотрение и выбор исполнителя работы до 12:00 18.10

Скрипты и боты

Опубликован:
16.10.24 10:27

Бюджет:
5000 руб.~$62.42

Мини приложение для телеграм

Интересует приложение типа Авиатор. с оплатой (интеграцией) через Телеграм Кошелек. Описание механики игры: С какой-то периодичностью проводятся раунды игры. Пользователь в течении раунда может делать ставки сколько денег он ставит на кон и принимает решение когда выйти (кликами по кнопкам). Продолжительность раунда случайна и заранее неизвестна, определяется в момент начала раунда. После начала раунда на экране отображается рост мультипликатора ставки, если пользователь успел сделать ставку и нажать кнопку выйти, то он выигрывает сумму со значением мультипликатора на момент нажатия кнопки выхода. Если не успел нажать кнопку выхода до окончания раунда, ставка списывается со счета пользователя в игре. Необходима визуализация процесса - взлет ракеты и взрыв ее по по окончании раунда Язык разаработки Python, JS Вот примеры аналогов: @aerogram_bot luckyjet В результате нужны будут все исходники и инструкция по установке на свой хостинг и связь с ботом в телеграм.

Скрипты и боты

Опубликован:
16.10.24 08:45

Бюджет:
80000 руб.~$998.63

Бот на python

Добрый день.Есть торговая площадка. на этой площадке размещаются лоты. Задача: необходимо создать бот на python, который будет постоянно мониторить наличие лотов по (заранее полученным) параметрам и при нахождении выкупать их. Мониторинг надо осуществлять несколькими аккаунтами, так как со стороны торговой площадки есть ограничение по количеству обращений в размере 5 запросов в секунду. 6-й запрос блокируется. Это если кратко.

Backend

Опубликован:
16.10.24 06:09

Бюджет:
5000 руб.~$62.42

Поправить ошибку в коде Python

Добрый день, есть парсер Python + Selenium + Chromedriver, нужно решить 2 ошибки: 1) Добавить задержку Message: no such element: Unable to locate element: {"method":"xpath","selector":"//a[@href="https/www.tikto.....2) БД не закрывается, добавить в код: 455 строчка: conn.close() 485 строчка с отступом 4 пробела: finally: try: conn.close() except: ... Ноутбук не рядом, + так же протестировать скрипт Более подробно логику работы опишу в ос Оставляйте отклики

Скрипты и боты

Опубликован:
16.10.24 05:44

Бюджет:
2000 руб.~$24.97

Скрипт python, который откроет другой скрипт python

Готов рассмотреть исполнителей без отзывов, но только нужно, чтобы Вы были уверены, что Вы сможете помочь и не рассчитывали на нейросети в этом. У меня windows 11. Идея: 1) У меня есть скрипт на питоне, а именно app.pyw, внутри него только одна кнопка с интерфейсом. 2) У меня есть скрипт test_create.pyw, внутри которого одна кнопка 3) У меня есть скрипт-заглушка script-zaglushka.py с кодом " input('Здесь стоит заглушка, нажимите что-то для закрытия программы: ')" Шаг 1. Мне нужно, чтобы запустив app.pyw, после нажатия кнопки открылся скрипт test_create.pyw и закрылся app.pyw. Шаг 2. После открытия test_create.pyw должен открыться скрипт-заглушка script-zaglushka.py и закрываться test_create.pyw Иными словами, открыв app.pyw за два нажатия кнопок, я должен открыть скрипт-заглушку. На этом все. Мне что-то не особенно помог GPT o1 и GPT o1 preview. Мне нужно, чтобы на моем windows 11 это работало. Все скрипты с веб интерфейсом прекрасно открываются у меня по-отдельности (только после нажатия на кнопки у меня постоянно возникает проблема js: Uncaught TypeError: Cannot read property 'run_script' of undefined). Скрипты я хочу сделать с расширением .pyw, чтобы не мозолило глаза консольное окно. Если есть другие способы достижения моей цели, готов рассмотреть их также. Прикрепил proga4.zip.

Скрипты и боты

Опубликован:
15.10.24 23:47

Бюджет:
1000 руб.~$12.49

Разработка онлайн-сервиса с привязкой Telegram-бота

Требуется разработка сайта-платформы для управления объявлениями и заявками с возможностью регистрации пользователей и интеграцией с Telegram-ботом. Основной функционал сервиса: Регистрация пользователей с разделением на категории (с разными правами доступа). Личный кабинет с возможностью добавления, редактирования и удаления объявлений. Поиск и фильтрация объявлений по критериям. Интеграция с Telegram-ботом для удобства пользователей: возможность управления через бот, загрузка фото и видео как через сайт, так и через бот. Интеграция ИИ для анализа данных и помощи пользователям. Архитектура платформы должна быть масштабируемой и гибкой, чтобы поддерживать дальнейшее расширение функционала. Технологии: backend на Python/Django или Node.js, frontend на React или Vue.

Создание сайта

Опубликован:
15.10.24 20:06

Бюджет:
130000 руб.~$1622.77

Скрипт авторег ВК

Скрипт на Python или другом языке, с использованием selenium. Задача - авто регистрация аккаунтов ВК с использованием api любого сервиса по sms-активации или другим образом (mail и т.д.)

Скрипты и боты

Опубликован:
15.10.24 19:40

Бюджет:
4000 руб.~$49.94

Разработать Python-скрипт для сохранения сообщений из telegram-каналов (чтобы tg-аккаунт не был забанен в tg)

Необходимо разработать Python-скрипт клиента telegram который будет сохранять все публикации из каналов по списку (около 5... руб

Программирование и IT

Опубликован:
15.10.24 17:53

Бюджет:
2000 руб.~$24.97