Разработка парсера сайтов для контроля остатков и цен

Bots 11.12.24 11:24

Бюджет: 10000 руб.

Создание системы для мониторинга остатков и цен товаров с сайтов: Зенон https://zenonline.ru/ Форда https://online.forda.ru/ Папиллонс https://tdppl.ru/ Ремэкс https://www.remex.ru/ Фабрикс https://fabreex.ru/ 2. Функциональные требования Сбор данных: Парсер должен извлекать информацию о товарах, включая следующие обязательные поля: Артикул (ключ товара): уникальный идентификатор товара. Единица измерения товара (например, шт., кг, л и т.д.). Цена товара. Наличие (количество на складе)(если доступно). Валюта цены (если доступно). Объемно-весовые характеристики товара В случае отсутствия артикулов или единиц измерения, парсер должен генерировать уведомление об ошибке. Формат данных: Собранные данные должны сохраняться в формате JSON. Структура JSON должна включать: product_code — артикул товара (ключ); name — название товара; price — цена; stock — количество на складе; unit — единица измерения; currency — валюта (если доступна). Логирование: Парсер должен вести логирование каждого запуска и ошибок. Уровень логирования должен быть настраиваемым, от базового (ошибки) до детального (все шаги парсинга). Логи должны сохраняться в файлы с метками времени. Формат логов: log_competitor_YYYY-MM-DD_HH-MM.log. Логи должны включать: Время начала и окончания выполнения. Количество успешно собранных товаров. Ошибки при сборе данных (например, недоступность сайта или изменения структуры страниц). Автоматизация: Парсер должен быть оптимизирован для периодического запуска через Cron. Логирование времени выполнения каждого запуска с фиксацией ошибок при запуске через Cron. Обработка ошибок: В случае отсутствия данных на странице или изменения структуры сайта, парсер должен зафиксировать ошибку и продолжить обработку следующих страниц. Парсер должен корректно обрабатывать такие ошибки, как: Недоступность сайта (отсутствие соединения). HTTP-ошибки (например, 404 или 500). Изменение структуры страницы. Производительность: Парсер должен быть оптимизирован для работы с большими объемами данных (десятки тысяч товаров). Должна быть реализована проверка и минимизация дублирования данных (например, при повторном запуске парсера). Валидность данных: Данные должны проверяться на корректность (например, цена не может быть отрицательной, наличие не может быть отрицательным числом и т.д.). 3. Технические требования Язык программирования: Python 3.x Форматы данных: Входные данные: веб-страницы HTML. Выходные данные: JSON (структурированный формат данных). Среда выполнения: Парсер должен быть совместим с Linux-системами для интеграции с Cron. Оптимизация: Парсер должен поддерживать многопоточную или асинхронную обработку данных для повышения производительности. Если это позволяет сайт конкурента 4. Дополнительная информация Каждый сайт -отдельное подзадание Парсер должен сохранять данные - запись CSV или записью в БД (postgres)

Найдено 7024 результата

Разработка системы помощи водителю в симуляторе CARLA с Python API

Разработка системы помощи водителю в симуляторе CARLA с Python API Тема: "Разработка Системы Помощи Водителю В Сложных... руб

Программирование и IT

Опубликован:
03.12.24 22:00

Бюджет:
15000 руб.~$187.25

Консультация по созданию проекта с использованием блокчейна

Хочу сделать свой проект, используя блокчейн (не криптовалюта, а что-нибудь связанное с сохранением данных, условно как сохранять свои заметки или важные договора). Читал/слушал, но остались практические вопросы как выглядит процесс разработки такого рода проекта, как считается стоимость. Смотрел в сторону Solana, но может есть что-то еще. По умолчанию делаю свои проекты используя связку Python + Flask + Mongo + DockerХочу созвониться на 1 час, чтобы позадавать общие вопросы, с разработчиком, который имеет практический опыт разработки коммерческих проектов в продакшн.

Backend

Опубликован:
03.12.24 21:34

Бюджет:
1500 руб.~$18.73

Исправить код selenium в виду обновившегося сайта

есть скрипт на python selenium, работавший еще месяц назад. скрипт уже настроен на вм, готов к тестам, требуется только исправить нынешнюю ошибку и предоставить список исправлений, она возникает на финальных этапах цикла, до этого подобного не было, остальная часть скрипта работает исправно

Скрипты и боты

Опубликован:
03.12.24 19:50

Бюджет:
3000 руб.~$37.45

Разработка небольшого сайта на Python

Необходима разработка сайта наподобие: https://steam.kupikod.com/ Дизайн и верстка будут предоставлены. Необходимые интеграции: - связать сайт с API поставщиком услуг - интеграция с платежной системой - минимальная админка для контроля заказов и смены цен на пополнение После первых тестов далее сделаем личный кабинет, бонусную систему. Первая версия сайта будет что-то наподобие MVP, дальше будем развивать. Поэтому рассчитываем на долгосрочное сотрудничество. Укажите, пожалуйста, ориентировочную стоимость подобного проекта и/или стоимость часа вашей работы

Создание сайта

Опубликован:
03.12.24 19:16

Бюджет:
80000 руб.~$998.63

Парсинг сайта Цупис

Необходимо написать скрипт на python, который после авторизации по смс коду внутри скрипта будет выдавать инфу об аккаунте (суммы транзакций в целом) Главное - написать чтобы не давало ошибки 403, а по выдаче информации там все одним гет запросом выдается

Скрипты и боты

Опубликован:
03.12.24 18:54

Бюджет:
10000 руб.~$124.83

Прогнозирование временных рядов с помощью нейросетей

Построение и настройка нейросетевых моделей - прогнозируемый временной ряд "Цена" из файла. 1. Необходимо с помощью библиотек на Python реализовать прогнозирование временных рядов цен акций "Яндекса" с применением моделей RNN, LSTM, CNN. 2. В реализованном прогнозировании должны оптимизироваться гиперпараметры моделей для получения наилучшего результата прогнозирования. Должны фиксировать результаты - до/после оптимизации с графиками прогноза и расчетом метрик (оценка моделей должна производиться по параметрам (R^2, MAE, RMSE, и др.), должно быть доказано, что у модели отсутствует переобучение, в работе должна присутствовать кросс-валидация. 3. Построение гибридной нейронной (RNN+LSTM, CNN+LSTM). Необходимо провести анализ, исследование построения гибридных нейросетевых моделей. Цель: провести анализ/исследование, что лучше ансамбль моделей или суперпозиция моделей? Должны фиксироваться результаты - до/после с графиками прогноза и расчетом метрик (R^2, MAE, RMSE, и др.), должно быть доказано, что у модели отсутствует переобучение, в работе должна присутствовать кросс-валидация. 4. У лучшей нейросетевой модели (из п.3) описать архитектуру - на 2 стр. (+ рисунок ее архитектуры). 5. Для лучшей модели должна быть реализована возможность подавать на вход дату и прогнозировать на эту дату временной ряд. Общие требования: 1) Разработку вести в файле с расширением ipynb - как итог, рабочий код. 2) Комментировать код при написании.

Десктоп программирование

Опубликован:
03.12.24 18:47

Бюджет:
40000 руб.~$499.32

Написать голосового помошника для сайта на Elevenlabs на python

Написать на pyton голосового бота на сайте связанного с голосовым Агентом Eleven Labs Пример реализации с разбором написнаия... руб

Веб-разработка

Опубликован:
03.12.24 16:34

Бюджет:
5000 руб.~$62.42

Нужен программист на Go или Python, чтобы сделать относительно простые алгоритмы парсинга в текстовый файл или куда это правильнее делать

Нужен программист на Go или Python, чтобы сделать относительно простые алгоритмы парсинга объявлений с Авито в текстовый файл... руб

Программирование и IT

Опубликован:
03.12.24 16:26

Бюджет:
10000 руб.~$124.83

Разработка приложения для управления стримами

Нужно разработать десктоп приложение для управления стримами, запущенными на удаленных серверах (VPS), среда разработки любая, но тз написано для Python. Вот само техническое задание: https://docs.google.com/document/d/1nLcmyMJ2ts1xXf8YrL-Fn-7mkWrIQLHIMcf7iToL8XM/edit?usp=sharing

Десктоп программирование

Опубликован:
03.12.24 15:57

Бюджет:
30000 руб.~$374.49

Python массовая вставка с множества скриптов в 1 таблицу

Всем доброго времени суток. Необходима помощь с двумя рабочими примерами: для SQLite и postgresql. Есть 10-15 скриптов, которые работают то одновременно, то в разное время, бывает по всякому. Вопрос в следующем: как сохранить данные в 1 таблицу или изменить некоторые строки в 1 таблице так, чтобы данные, получаемые скриптами - не потерялись. Те, если в один момент работает 2 и более скриптов и в один момент они пытаются произвести вставку данных в таблицу - то чтобы ни один из них не вылетел по ошибке, что таблица занята другим процессом или заблокирована или еще что-то. Собственно, нужен понятный алгоритм сохранения данных для баз, что описал выше. Сохранять сначала в файлы а потом доп скриптом собирать данные с них - не хотелось бы.

Скрипты и боты

Опубликован:
03.12.24 15:06

Бюджет:
1000 руб.~$12.49

Помощь со знанием python, который будет проверять код,

Ищу помощника со знанием python, который будет составлять тз, проверять код, принимать код программиста и загружать на хостинг. После отпавки кода на гитхаб проверять и сливать код из ветки в мейн и если будут ошибки то устранять Ищу человека на постоянной основе

Юзабилити, тесты и помощь

Опубликован:
03.12.24 13:45

Бюджет:
500 руб.~$6.25

Спарсить товар озона через ссылку с их приложения

Задача состоит в том, чтобы спарсить ссылку озона такого формата https://ozon.ru/t/RNeVo1. Можно сделать одно из двух вещей: либо с помощью этой ссылки получить артикул товара (желательно без лишних запросов к их api), либо получить данные с этой ссылки (интересует только название товара и цена без озон карты) Код нужен на python/js.

Базы данных и клиентов

Опубликован:
03.12.24 12:43

Бюджет:
6000 руб.~$74.9

Написать на phyton

Необходимо написать автотесты для сайта cable.ru (python, selenium)Тест кейсы писать не требуется.Список функционала, который требуется покрыть автотестамиhttps://docs.google.com/document/d/1VRcwUT1H2HAKfZ...

Bots

Опубликован:
03.12.24 12:29

Бюджет:
5000 руб.~$62.42

Автоматизация действий в приложении через запросы

Нужно узнать какие запросы отправляет мобильное приложение серверу при наборе определенных действий Написать скрипт на Python для автоматизации этих действий (скрипт должен работать через запросы, решения с эмуляторами не подойдут) Приложение есть как на андроиде, так и на айфоне Подробнее тз опишу в личке

Скрипты и боты

Опубликован:
03.12.24 10:40

Бюджет:
40000 руб.~$499.32

Разработка ПО C++/Python: обработка документов с ИИ

Разработка программы для автоматизированной обработки документов Требуется создать приложение для Windows, которое будет автоматизировать обработку текстовых документов, таблиц и сканов. Основной функционал включает: Загрузка и обработка файлов: Поддержка форматов: PDF, DOC/DOCX, XLS/XLSX, PNG, JPG, TXT. Возможность перетаскивания файлов в окно загрузки. Автоматическое разделение многостраничных документов (например, PDF) на части. Обработка документов: Распознавание текста из сканов с использованием OCR (например, Tesseract). Определение типа документа по ключевым словам (госконтракты, отчёты, резюме и т.д.). Автоматическое извлечение ключевых данных (даты, суммы, стороны договора). Интеграция с API нейросети: Передача данных в API для выполнения задач (например, краткий пересказ, анализ данных). Получение результатов от API и отображение их в структурированном виде. Интерфейс: Минималистичный дизайн на базе Qt: Слева список задач (обработка контрактов, отчётов, резюме и т.д.). Справа — зона загрузки файлов. Внизу — область вывода результатов с кнопками для сохранения документов или уточнения деталей. Функции редактирования: Настройка промтов для API (доступно только администратору). Возможность внесения изменений в регулярные выражения и настройки обработки. Технические требования: Основной функционал реализуется на C++ (Qt), дополнительные задачи — на Python. Хранение временных данных и настроек в JSON-файлах.

Десктоп программирование

Опубликован:
03.12.24 09:43

Бюджет:
120000 руб.~$1497.95

Доделать один метод в телеграм боте (Python)

Бот запрашивает юзера, при вводе существующего юзера была ошибка. Сейчас сделали на бэке ответ под существующего юзера. Нужно просто принимать. Самое сложное здесь это развёртка проекта у себя, т.к. бот минтит НФТ в блокчейне и нужно всунуть ему левые данные чтоб он мог запускаться корректно. Но с этим помогу. Проект в гитхабе, подключен автодеплой.

Backend

Опубликован:
03.12.24 08:34

Бюджет:
2000 руб.~$24.97

Python генерация pdf из картинки

Привет! У нас есть 8 картинок, нужно скриптом наложить в соответствии с дизайном 7 чисел кастомным шрифтом в место, предусмотренное дизайном и далее и экспортануть все в один pdf На входе скрипт принимает массив из 7 чисел - на выходе pdf

Скрипты и боты

Опубликован:
03.12.24 05:15

Бюджет:
1000 руб.~$12.49

Дэсктоп приложение на python

Дэсктопное приложение для windows на питоне + tkinter. Программа считает сумму компонентов нефтяных потоков, путем чтения характеристик потоков из файлов и суммирования его компонентов.Приложение состоит из:главное менюкнопка, открывающая проводник для выбора файла определенного формата (файл формата ключ значение, необходимо парсить в модель и сохранить в память)список названий загруженных файлов (при выборе должна появляться возможность удалить)при выборе загруженного файла из списка отображение полей из этого файла в определенном формает (несколько вкладок типа состав, характеристики и тп)кнопка "далее" которая открывает следуещее окно (набор условий)набор условийсписок названий условий подобно главной страницеформа редактирования выбранного условиякнопки "назад", "далее"(к результатам)результаты2 таблицы с результатами смешения потоковкнопка экспортировать в xlsxкнопка скопировать в буфер (csv)кнопка назадформат таблицы xlsx и примерный ui отправлю отдельно, логика смешения потоков - простое суммирование компонентов по ключу, код уже написан.Срок 1 неделя

Desktop

Опубликован:
03.12.24 02:50

Бюджет:
40000 руб.~$499.32

Помощь в запуске instaloader

Установил в python instaloader. Нужна помощь в запуске на скачивание фото из инсты и постинг к себе в инсту этого контента.

Юзабилити, тесты и помощь

Опубликован:
03.12.24 00:00

Бюджет:
1000 руб.~$12.49

Исправить работу скрипта

Исправить работу скрипта для woocommerce не обновляет цены и остатки с прайсов яндекс и маил облако. Скрипт wooupdater && python update_products.py

Скрипты и боты

Опубликован:
02.12.24 18:11

Бюджет:
3000 руб.~$37.45