Настройка трансформации и поставки данных

Юзабилити, тесты и помощь 18.12.24 21:05

Бюджет: 10000 руб.

Есть Managed PostgreSQL кластер и ClickHouse кластер в Yandex Cloud. Данные реплицируются из PostgreSQL в ClickHouse с помощью Yandex Data Transfer в таблицы ReplacingMergeTree. Возникла потребность в создании денормализованных таблиц для аналитики, сейчас это все работает на refreshable materialized view в ClickHouse, то есть таблички периодически полностью очищаются и обновляются с помощью SQL запросов. Проблема в том, что при таком подходе слишком большая нагрузка на вычислительные мощности ClickHouse кластера, и большое количество ресурсов уходит на полный пересчет таблиц, из-за этого скорость запросов на чтение существенно снижается. Хочу перенести логику трансформации данных на другой слой и использовать вычислительные ресурсы ClickHouse только для чтения, а не для трансформации данных, как пример, можно использовать Apache Spark в том же Yandex Cloud, либо что-то другое, что Вы посчитаете более подходящим для данной задачи. Необходима консультация по данной проблеме, а так же показать как на базовом уровне работать с Apache Spark в Python и подключаться к нему через DataGrip.

Найдено 7024 результата

Поправить Python скрипт по сравнению логов с чек листом

Что делает скрипт: Скрипт сравнивает Exel чек лист с очищенными логами из игры. Размер кода: 1748 строк включая весьма подробную документацию и отступы. Или же 2177 строк, если брать версию в которой я сам уже пробовал решить проблему, но не особо удачно (в архиве обе версии). Есть 2 проблемы которые необходимо починить: 1) В случае если во время прохождения по чек листу намерено были пропущены некоторые шаги, то скрипт это не понимает в следствие чего все остальные проверки сбиваются. Скрипт должен писать что пропущенные шаги не найдены, а те что не были пропущены найдены. В логах были намерено пропущены шаги с 14 по 16 2) В репорт была добавлена колонка с временем. После этого добавления сломался функционал вывода подробной инфы о различиях логов и чек листа. Чинится подставлением старого конфиг файла, что я тоже добавил в архив с заданием. В конечном результате колонка с временем должна быть и функционал сравнения должен при этом работать.

Скрипты и боты

Опубликован:
30.12.24 06:14

Бюджет:
3500 руб.~$43.69

Парсер

Нужно написать парсер карточек товаров для интернет магазина. Результат: выкачанные данные (json)+ python скрипт который можно локально запустить для повторного скачивания

Скрипты и боты

Опубликован:
29.12.24 18:01

Бюджет:
14000 руб.~$174.76

Доработать Telegram бот

Доброго времени суток. Необходимо внести доработки в Telegram бот согласно техническому заданию (стек python). С техническим заданием можно ознакомиться по ссылке: https://docs.google.com/document/d/1y95jbJG9tt7peQYYTePDpK5Rxd07upg7ana2W0PlkEA/edit?tab=t.0#heading=h.euwzaqxm22t7

Скрипты и боты

Опубликован:
29.12.24 17:01

Бюджет:
50000 руб.~$624.15

Отладить запуск и развертывание фронтенда, обеспечить тестовый доступ

Проект: Бизнес-симулятор.Описание задачи 1. Развертывание и настройка фронтенда: • Обеспечить корректный запуск проекта на предоставленном стекe технологий. • Исправить возможные ошибки в процессе запуска и развертывания. • Убедиться, что фронтенд полностью взаимодействует с бекендом. 2. Тестовый доступ: • Предоставить инструкции для локального запуска и взаимодействия с бэкендом. 3. Документация: • Обновить/создать README.md с подробными инструкциями по запуску фронтенда.Технологический стекФронтенд: • HTML, CSS, SCSS • JavaScript • React • Redux • TypeScriptБэкенд: • Python • FastAPIДополнительные требования • Опыт работы с указанным стеком. • Готовность оперативно отвечать на вопросы в процессе выполнения задачи.Ожидаемый результат 1. Корректно работающий фронтенд, взаимодействующий с бекендом. 2. Тестовое окружение, доступное для проверки функционала. 3. Подробная инструкция по развертыванию и запуску.Предоставляемые материалы • Исходный код проекта (фронтенд и бэкенд).Сроки• До 8 января

Frontend

Опубликован:
29.12.24 15:02

Бюджет:
15000 руб.~$187.25

Сделать тг бота на Python

Функции которые написаны в готовом боте, дописать отдельно новые на сервере и протестировать функции внутри сайта, нужно сделать обработку в реальном времени + реферальную систему + отправка на кошелек + кошелек

Скрипты и боты

Опубликован:
29.12.24 14:56

Бюджет:
2000 руб.~$24.97

Поправить Python скрипт по сравнению логов с чек листом

Скрипты и боты

Опубликован:
29.12.24 14:31

Бюджет:
3000 руб.~$37.45

Создать или улучшить копию python скрипта

Здравствуйте. В прикреплённом файле пример того как должна выглядеть программа. Задача. Создаю новую или изменить текущий вариант. Объясняю как я вижу работу программы. Есть сервер windows на нём запущен данная программа. Из сервера идёт управление клиентами. На каждое действие добавить тумблер переключения(вкл,выкл) Онлайн и список клиентов оставить. Добавить возможность пинговать клиента и проверять отвечает ли он на пинг. В файле "скрипты" действие которые должны запускать на клиентах.

Скрипты и боты

Опубликован:
29.12.24 11:48

Бюджет:
4000 руб.~$49.94

Исправить скрипт на python

Исправить 2 скрипта два скрипта для яндекс маркета и два для озон не работает обновление товаров по прайсам. Написаны на python и bash. Работают в облаке.

Скрипты и боты

Опубликован:
29.12.24 10:16

Бюджет:
4000 руб.~$49.94

Парсер сайта checko

Создать парсер на python, собирающий данные сайта. Собрать ссылки на страницы организаций в отдельный файл txt, данные со страниц по полученным ссылкам в отдельный файл формата excel Строки скрипта парсера должны содержать комментарии о назначении данных строк.

Скрипты и боты

Опубликован:
29.12.24 09:16

Бюджет:
3000 руб.~$37.45

Настройка Python-скрипта для интеграции ChatGPT API

Цель: Создать серверное приложение на Python, которое: 1.Принимает сообщения от клиента через API. 2.Обрабатывает их с помощью ChatGPT API (модель GPT-4). 3.Отправляет ответ клиенту, учитывая контекст предыдущего диалога. 4.Может быть интегрировано с мессенджерами (например, WhatsApp) и/или CRM-системой (amocrm). Требования: 1.Основной функционал: Реализовать REST API на Python (с использованием Flask, FastAPI или Django REST Framework). Настроить взаимодействие с OpenAI API (ChatGPT API). Сохранение контекста диалога для каждого клиента (например, в памяти или в базе данных). 2.Интеграции: Возможность подключения WhatsApp через Twilio или WABA (WhatsApp Business API). Интеграция с amocrm для отправки и получения данных о лидах. 3.Дополнительные функции: Возможность хранения истории диалогов в базе данных (например, SQLite, PostgreSQL или MongoDB). Логирование всех запросов и ответов для отладки. Обработка ошибок и уведомления в случае сбоев. Ожидаемый результат: 1.Рабочее серверное приложение, готовое к приёму сообщений от клиентов. 2.Интеграция с ChatGPT API, WhatsApp и amocrm. 3.Подробная документация и инструкции для дальнейшей поддержки.

Скрипты и боты

Опубликован:
29.12.24 05:30

Бюджет:
80000 руб.~$998.63

Создание API функции для озвучки текста Python

Нужно написать код на питоне, должна происходить ттс озвучка при помощи сайта: https://texttospeech.ru/program Сайт обновился, и раньше там был user-token, щас же приходится использовать куки, есть какой-то альтерантивный способ? потому что менять постоянно куки - решение для моего проекта не очень...постоянно выдает ошибку, приходится постоянно менять куки.

Скрипты и боты

Опубликован:
29.12.24 01:48

Бюджет:
2000 руб.~$24.97

Поправить Python скрипт по сравнению логов с чек листом

Скрипты и боты

Опубликован:
28.12.24 16:48

Бюджет:
3000 руб.~$37.45

Решение задачи на Python Django

Есть проект(аналог фанпей), нужно отфиксить ряд багов. Работа в долгосрок, после запуска проекта, бонусы за работу. Баги из разряда - правка ссылки на платежку. Не сложная работа. За всеми деталями в лс. Разработчик нужен срочно!

Доработка и настройка сайта

Опубликован:
28.12.24 16:34

Бюджет:
40000 руб.~$499.32

Сделать бекенд для сервиса телефонных розыгрышей

Необходимо разработать бекенд для сервиса наподобие callprikol.ru. Принцип работы прост: указывается номер телефона, робот звонит на этот номер и воспроизводит заготовленную аудиозапись, после чего сохраняет запись разговора. внимание: пользовательский интерфейс не нужен, достаточно программного интерфейса в виде Rest API или даже Python файла с набором функций. Как я это вижу: Покупается SIP-транк (напр. https://plusofon.ru/products/siptrunk), подключается к программной АТС (Asterisk?) и в дальнейшем реализуется программный интерфейс для взаимодействия с АТС через Python. Если неправ или можно сделать проще - поправьте, пожалуйста) Однако не допускается использование сторонних сервисов типа zvonok.com. В отклике укажите желаемую стоимость

Скрипты и боты

Опубликован:
28.12.24 16:11

Бюджет:
20000 руб.~$249.66

Поправить Python скрипт по сравнению логов с чек листом

Скрипты и боты

Опубликован:
28.12.24 16:00

Бюджет:
3500 руб.~$43.69

Доработка CRM python/flask

Ищу разработчика для работы над веб-приложением, написанным на Python (Flask). Приложение включает управление клиентами, сотрудниками и услугами, а также интеграцию с Яндекс.Диском. Нужно поддерживать и дорабатывать текущую логику, улучшить интерфейс и добавить новые функции. Будут блоки фиксов/доработок за определенную цену, если сработаемся будем полноценно сотрудничать

Доработка и настройка сайта

Опубликован:
28.12.24 07:59

Бюджет:
60000 руб.~$748.98

Доработать backend для платформы Full-time, Mid+/Senior

Ищу Full-time (хотя бы 6 часов в день) разработчика на наш проект - www.companycentral.co.ukДелаем клон www.rekvizitai.lt (Система поиска фирм), только на UK рынок.Бек частично сделан, хотим быстрее завершить, потому ищем бека.Нам нужен:Backend: Python (SQL или NoSQL база) Django/FastAPI/FlaskСильный дев (High-Middle, Senior)Опыт: 3+ стаж реальных проектов (чтобы был бы коммерческий опыт)(домашние проекты не считаются)Должен иметь опыт в data modeling and transformationsАнглийский: минимум письменный B2, разговорчивый B1Большая часть проекта уже сделана.Стэк:-Python (SQL илм NoSQL база) Django/FastAPI/Flask-Используем Jira + Slack + Hubstaff (тайм-трекер)-Docker-Есть хостинг- в команде 1 бэк, 1 фронт.Оплата в EUR/USD/RUB, по часовой ставке.Начало работы с 2-ого января.Жду ваших сообщений!

Backend

Опубликован:
28.12.24 07:57

Бюджет:
1500 руб.~$18.73

Настройка Selenium и Python для работы с прокси

Мне требуется настройка скрипта на Python с использованием библиотеки Selenium. Основные задачи: Открытие вкладок в браузере через Selenium. Работа с различными прокси (HTTP/HTTPS/SOCKS5), включая указание логина и пароля для авторизации. Возможность гибкой настройки количества одновременно открытых вкладок. Требования к исполнителю: Опыт работы с Python и Selenium. Навыки настройки прокси для браузера через Selenium. Понимание работы с профилями браузера (например, для Chrome или Firefox). Дополнительная информация: Скрипт должен быть простым и удобным для использования. Я должен иметь возможность менять прокси, количество вкладок и другие параметры. Если вы готовы выполнить задание, укажите сроки и стоимость работы.

Скрипты и боты

Опубликован:
28.12.24 07:26

Бюджет:
4000 руб.~$49.94

Поправить Python скрипт по сравнению логов с чек листом

Скрипты и боты

Опубликован:
28.12.24 04:51

Бюджет:
2500 руб.~$31.21

Внешний api + страничка на flask есть код надо доделать

Есть код, который работает но не совсем как мне нужно. Надо взяться и быстро доделать. Стек - flask + python. Жду откликов и вышлю ТЗ

Скрипты и боты

Опубликован:
27.12.24 22:45

Бюджет:
3000 руб.~$37.45