Есть Managed PostgreSQL кластер и ClickHouse кластер в Yandex Cloud. Данные реплицируются из PostgreSQL в ClickHouse с помощью Yandex Data Transfer в таблицы ReplacingMergeTree. Возникла потребность в создании денормализованных таблиц для аналитики, сейчас это все работает на refreshable materialized view в ClickHouse, то есть таблички периодически полностью очищаются и обновляются с помощью SQL запросов. Проблема в том, что при таком подходе слишком большая нагрузка на вычислительные мощности ClickHouse кластера, и большое количество ресурсов уходит на полный пересчет таблиц, из-за этого скорость запросов на чтение существенно снижается. Хочу перенести логику трансформации данных на другой слой и использовать вычислительные ресурсы ClickHouse только для чтения, а не для трансформации данных, как пример, можно использовать Apache Spark в том же Yandex Cloud, либо что-то другое, что Вы посчитаете более подходящим для данной задачи. Необходима консультация по данной проблеме, а так же показать как на базовом уровне работать с Apache Spark в Python и подключаться к нему через DataGrip.
Создать бота, который будет автоматически находить новые отзывы в личном кабинете веб-приложения, анализировать их и отправлять соответствующие ответы на основе шаблонов. Функционал бота 1. Авторизация: Бот автоматически входит в личный кабинет, используя логин и пароль. 2. Обнаружение новых отзывов: Находит и считывает текст новых отзывов, а также данные автора и дату публикации. 3. Формирование ответа: Генерирует ответ на основе предоставленных шаблонов (положительные, нейтральные, негативные отзывы). 4. Отправка ответа: Вводит текст в поле ответа и отправляет. 5. Логирование: Сохраняет в лог-файл информацию о каждом обработанном отзыве. 6. Автоматизация работы: Проверяет наличие новых отзывов каждые X минут. Требования Язык программирования: Python или JavaScript. Инструменты: Selenium, Playwright или Puppeteer для автоматизации браузера. Безопасность: хранение логина и пароля в зашифрованном виде. Возможность развернуть бота на локальном компьютере или сервере. Результат работы Полностью рабочий бот. Инструкция по установке и настройке. Сохранённые логи работы бота. Если у вас есть идеи, предложения или альтернативные способы реализации, которые, на ваш взгляд, могут лучше соответствовать целям проекта, мы будем рады их обсудить. Главное, чтобы итоговое решение эффективно выполняло поставленные задачи.
Добрый день! Интересует соискатель только из города Иркутск. (обязательные встречи, возможно трудоустройство по договоренности)/ Мы сами находимся в Иркутске. Оплата помесячно или как договоримся. Требуемый опыт: Опыт разработки WEB приложений Уметь работать с базами данных sql Желательно full stack-разработчик Желательно на python
Всем добрый день.Нужно сделать бэкенд для приложения.Главное требования опыт работы с Platform Open AI, так как надо будет привязывать много промтов.Срок 7 дней.- Runtime: Python 3.10+- REST API: FastAPI, Uvicorn- Database: PostgreSQL with SQLAlchemy or MongoDB with PyMongo (Mongo is preferrable)- JWT Authentication- AWS SDK / boto3- LLM: model invocation with OpenAI- Familiar with LLM prompts- Docker compose for simple stack with nginx ingress;- Ubuntu 20+Прошу сразу писать ориентировочную стоимость работы.
Необходимо разработать Telegram-бота, который будет:- Автоматически отправлять задачи из шаблона в Notion сотрудникам в Telegram.- Принимать от сотрудников обновления статусов выполнения задач и результаты.- Синхронизировать полученную информацию обратно в соответствующие колонки в таблице Notion.Требования к исполнителю:- Уверенное владение Python или JavaScript.- Опыт разработки Telegram-ботов.- Желателен опыт работы с подобными проектами.- Возможность предоставить рекомендации или портфолио успешных проектов.- Умение писать чистый и понятный код, учитывать масштабируемость проекта.Предоставим ТЗ после выбора кандидата.Готовы рассмотреть ваши предложения и сроки выполнения.Стоимость: договорная.Срок реализации проекта (в объявлении): до месяца.
Необходимо реализовать mobile-first для Telegram игру, в которой пользователи сражаются за пиксельное поле. Наиболее близкий пример: https://pixelbattles.ru/ Стек: Go или Python на бэкенде, React или Vue на фронтенде, Postgres в качестве БД. Про проекту нет спешки или жестких дедлайнов, но ищем крепкого и способного фуллстака, который хотел себя попробовать в геймдеве. В первом приближении требуется реализовать ДЕМО-версию игры для внутреннего тестирования и позже - реализовать MVP. Разработку пропорционально разбиваем на несколько этапов. За каждый этап - оплата сразу после приемки. Финал первого этапа (Демо) - задеплоенный функционал на сервере, соответствующий ТЗ. Если твоя мотивация только деньги - закрывай эту страницу, этот проект не для тебя, иди ковыряй вордпресс или битрикс. По финансам можешь пытаться торговаться, но советую сразу искать другие объявления. Если хочешь сделать то, что с 99% потом будешь гордиться -- запрашивай расширенное ТЗ для ознакомления.
Мы ищем опытного разработчика PHP, который поможет устранить проблемы в боте-автоответчике для обработки отзывов покупателей на платформе Wildberries. Описание текущей ситуации: На аутсорсе был разработан бот-автоответчик, использующий ChatGPT для генерации ответов на отзывы покупателей Wildberries. Изначально бот был написан на Python, но столкнулся с рядом проблем:Перестали добавляться кабинеты Wildberries.Ответы на отзывы больше не отправляются на платформу Wildberries.Чтобы решить данные проблемы, мы решили переписать бота на PHP. Однако после перехода на PHP проблемы не исчезли. Задачи, которые нужно решить: Исправить добавление кабинетов Wildberries: бот должен корректно интегрироваться с системой Wildberries и успешно добавлять новые кабинеты.Обеспечить отправку отзывов: ответы на отзывы должны корректно генерироваться с использованием ChatGPT и успешно отправляться через платформу Wildberries.Провести анализ и устранение возможных дополнительных багов, влияющих на функциональность. Требования: Опыт разработки на PHP.Знание интеграции с внешними API (особенно платформы Wildberries или схожих).Опыт работы с OpenAI API (ChatGPT).Умение анализировать и отлаживать существующий код.Ответственность и способность эффективно коммуницировать для обсуждения деталей задачи. Что предоставляем: Доступ к текущему коду бота.Документация по взаимодействию с платформой Wildberries.Техническая поддержка для обсуждения архитектуры бота.Ищем специалиста, готового оперативно разобраться в ситуации и вернуть боту полную работоспособность.
Нужна автоматизация мониторинга и уведомлений о заказах на профи.ру (Python + Selenium)" Описание задачи: Ищу специалиста для разработки скрипта, который будет: 1. Авторизоваться в нескольких личных кабинетах на платформе профи.ру. 2. Мониторить заказы для каждого аккаунта. 3. Отправлять уведомления в Telegram о новых и уникальных заказах (с текстом и ссылкой на страницу заказа). 4. Проверять уникальность заказов между аккаунтами, чтобы избежать дублирующих уведомлений. Функциональные требования: - Поддержка нескольких аккаунтов (логин/пароль). - Проверка уникальности заказов на основе ссылки (общая база данных заказов для всех аккаунтов). - Отправка уведомлений через Telegram API с текстом и кликабельной ссылкой. - Хранилище уникальных заказов (файл JSON или база данных SQLite). - Логирование действий (ошибки, отправленные уведомления). - Возможность настройки фильтров для заказов (ключевые слова). Технические требования: - Python, Selenium (или другой подход к автоматизации). - Возможность запуска скрипта на локальном компьютере или сервере (Windows/Linux). - Простая инструкция по установке и запуску. Дополнительно: - Будет плюсом, если специалист предложит возможность доработки проекта в будущем.- Срок выполнения: 7–10 дней. Что нужно от исполнителя: - Опыт работы с Python и Selenium. - Примеры выполненных проектов (если есть). - Ориентировочные сроки и стоимость.
Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил архив с ТЗ и всей сопутствующей документацией. Стартовая точка - файл "tz-clean". Бюджет 15000р. Являюсь прямым заказчиком. Пишите, пожалуйста, свои расценки и сроки.
Привет! Необходимо доработать проект по внутренней аналитике для селлеров Ozon. Стек: Python/Telegram/google sheets/ozon API/postgresql/redis На текущий момент выполнено 50% проекта, осталось доработать регулярную выгрузку данных / доработать API методы / выполнить отладку и залить проект на сервер. Бот через Ozon API собирает данные и формирует таблицу в Google Sheets: 1) Отдельный лист на каждый указанный артикул (товар) с ежедневной аналитикой. 2) Лист "Остатки по кластерам" за сегодня и прогноз потребности по каждому складу. 3) Отдельный лист "[:2699] Настройки" - где клиент указывает артикулы для анализа и данные о них 4) Отдельный лист "День" по ежедневному анализу (сводные данные за день) 2 типа юзеров 1) Admin (Админ-функции в Telegram) : управление доступом, мониторинг клиентов. + все функции User 2) User - функции - - Добавить/удалить неограниченное количество магазинов - по каждому магазину получить/обновить отдельную таблицу или все таблицы сразу - возможность заполнить артикулы для каждого магазина для индвиидуального анализа (в листе "[:2699] Настройки" Бот автоматизирует аналитику, планирование остатков и управление данными. Возможны доработки/оптимизация/улучшения с вашей помощью, обсуждается Пример готового UI в Telegram: https://disk.yandex.ru/d/rxRl8y27gaXWTA Шаблон таблицы для заполнения: https://docs.google.com/spreadsheets/d/1o90ZCnXeH_-SjUzyqeGs2MuiAXKVcHNE3jr03xYwlhE/edit?usp=sharing
Необходим сервис на Python с простой админ.панелью (на каком-либо стандартном шаблоне) для внутреннего пользования. Сервис будет принимать данные с сайта по Webhook (заказы), обрабатывать их и отправлять клиенту товар (цифровой код). Есть существующий подобный сервис-скрипт, который написан на PHP. Хотим переписать на Python и продолжить его развивать. Необходим опыт работы с: - БД (postgresql, mysql) - интеграциями (как минимум возможность сделать свой rest API для приема вебхука с сайта + в будущем интграции с другими CRM, платежными системами) - безопасностью (как общая безопасность сервиса, так и разделение ролей внутри админ.панель) - серверной частью (понадобится настроить сервер и развернуть на нем приложение) - почтовыми серверами/сервисами (клиенты получают цифровые товары на email почту) Есть ТЗ. В нем описано то, как работает сейчас (собственно то, что и хотим видеть в новой админке). Буду рад проактивности и предложениям по улучшению.
Создание системы для мониторинга остатков и цен товаров с сайтов: Зенон https://zenonline.ru/ Форда https://online.forda.ru/ Папиллонс https://tdppl.ru/ Ремэкс https://www.remex.ru/ Фабрикс https://fabreex.ru/ 2. Функциональные требования Сбор данных: Парсер должен извлекать информацию о товарах, включая следующие обязательные поля: Артикул (ключ товара): уникальный идентификатор товара. Единица измерения товара (например, шт., кг, л и т.д.). Цена товара. Наличие (количество на складе)(если доступно). Валюта цены (если доступно). Объемно-весовые характеристики товара В случае отсутствия артикулов или единиц измерения, парсер должен генерировать уведомление об ошибке. Формат данных: Собранные данные должны сохраняться в формате JSON. Структура JSON должна включать: product_code — артикул товара (ключ); name — название товара; price — цена; stock — количество на складе; unit — единица измерения; currency — валюта (если доступна). Логирование: Парсер должен вести логирование каждого запуска и ошибок. Уровень логирования должен быть настраиваемым, от базового (ошибки) до детального (все шаги парсинга). Логи должны сохраняться в файлы с метками времени. Формат логов: log_competitor_YYYY-MM-DD_HH-MM.log. Логи должны включать: Время начала и окончания выполнения. Количество успешно собранных товаров. Ошибки при сборе данных (например, недоступность сайта или изменения структуры страниц). Автоматизация: Парсер должен быть оптимизирован для периодического запуска через Cron. Логирование времени выполнения каждого запуска с фиксацией ошибок при запуске через Cron. Обработка ошибок: В случае отсутствия данных на странице или изменения структуры сайта, парсер должен зафиксировать ошибку и продолжить обработку следующих страниц. Парсер должен корректно обрабатывать такие ошибки, как: Недоступность сайта (отсутствие соединения). HTTP-ошибки (например, 404 или 500). Изменение структуры страницы. Производительность: Парсер должен быть оптимизирован для работы с большими объемами данных (десятки тысяч товаров). Должна быть реализована проверка и минимизация дублирования данных (например, при повторном запуске парсера). Валидность данных: Данные должны проверяться на корректность (например, цена не может быть отрицательной, наличие не может быть отрицательным числом и т.д.). 3. Технические требования Язык программирования: Python 3.x Форматы данных: Входные данные: веб-страницы HTML. Выходные данные: JSON (структурированный формат данных). Среда выполнения: Парсер должен быть совместим с Linux-системами для интеграции с Cron. Оптимизация: Парсер должен поддерживать многопоточную или асинхронную обработку данных для повышения производительности. Если это позволяет сайт конкурента 4. Дополнительная информация Каждый сайт -отдельное подзадание Парсер должен сохранять данные - запись CSV или записью в БД (postgres)
Здравствуйте.Есть виртуальный сервер, который я арендовал в компании Selectel. Мне нужно помочь под вашим руководством установить на сервере Python и Pycharm, перенести на диск бота, запустить и проверить его работу. Критерием исполнения заказа будет - работающий на сервере виртуальной машины бот на Python. Сам бот сейчас крутится у меня на локальном рабочем месте. Виртуальная машина работает на Windows.Предлагайте только те, кто может удаленно меня провести через весь процесс трансформации бота на виртуальную машину быстро, четко, сегодня вечером. Процесс будет через какой-нибудь сервис шеринга экрана. Пишите сразу в телеграм @ampersona
Необходимо разобраться как запустить пример SOAP-клиента, который нужен для авторизации запросов к API проверка чека (ФНС). У текущего разработчика не получается разобраться с документацией и примером на такого клиента Java. Он ему нужен, чтобы реализовать подобный на Python. Этот клиент собирается с помощью утилиты maven. Ключевая задача разобраться и объяснить устройство этого SOAP-клиента нашему разработчику, чтобы он смог его реализовать
Нужен человек в команду на очень перспективный и интересный проект. требования: Знание selenium base, js, python, fast api, socket суб. процессы, бд postgress умение работать в команде Есть незаконченный проект для самовыкупов по макретплейсу Озон. уже есть базы данных, бот который делает эмуляуию пользователя, ищет товар кладет в корзину, выкупает, применяет промокод применяет q- код для оплаты. Его функции: 1 автоматическое создание аккаунтов, заполнение фио и привязка почты 3 Запуск множества аккаунтов через эмуляцию 4 повтор пользовательское поведения, скролл страницы, добавление в корзину товара 5 вся база должна сохраняться.
Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил архив с ТЗ и всей сопутствующей документацией. Стартовая точка - файл "tz-clean". Бюджет 15000р, но обсуждаем. Являюсь прямым заказчиком. Пишите, пожалуйста, свои расценки и сроки.
Текущая страница: 24
Всего страниц: 352