Настройка трансформации и поставки данных

Юзабилити, тесты и помощь 18.12.24 21:05

Бюджет: 10000 руб.

Есть Managed PostgreSQL кластер и ClickHouse кластер в Yandex Cloud. Данные реплицируются из PostgreSQL в ClickHouse с помощью Yandex Data Transfer в таблицы ReplacingMergeTree. Возникла потребность в создании денормализованных таблиц для аналитики, сейчас это все работает на refreshable materialized view в ClickHouse, то есть таблички периодически полностью очищаются и обновляются с помощью SQL запросов. Проблема в том, что при таком подходе слишком большая нагрузка на вычислительные мощности ClickHouse кластера, и большое количество ресурсов уходит на полный пересчет таблиц, из-за этого скорость запросов на чтение существенно снижается. Хочу перенести логику трансформации данных на другой слой и использовать вычислительные ресурсы ClickHouse только для чтения, а не для трансформации данных, как пример, можно использовать Apache Spark в том же Yandex Cloud, либо что-то другое, что Вы посчитаете более подходящим для данной задачи. Необходима консультация по данной проблеме, а так же показать как на базовом уровне работать с Apache Spark в Python и подключаться к нему через DataGrip.

Найдено 7016 результатов

Бот ТГ на python с сервисом по поиску упоминаний в Инст

Я постараюсь текстом кратко описать функционал который нам необходимо реализовать. похожий функционал уже реализован в одном боте, пишите, скину ссылку на бота. нам из него по сути нужна только часть на первое время, а именно это поиск упоминаний бренда в Instagram. С целью поиска блогеров, у которых данный бренд рекламировался. И выдача этих данных в TG для пользователя. этот функционал о котором я говорю называется в боте выше «поиск по бренду» Моя мысль, что не делать этот сервис с нуля, а сделать через «прокладку» т.е через обращение к другому сервису, я уже нашел похожие, но не знаю подходят ли они нам. Обработку запроса и отдавать пользователю данные в установленном формате. Мы уже начали делать бот с сервисом Mention, но появились некоторые трудности и всё затянулось. Нужно доделать бота и подключить к сервису (возможно, вы найдете другой сервис)

Скрипты и боты

Опубликован:
23.12.24 10:49

Бюджет:
30000 руб.~$374.49

ML-инженер для интеграции нескольких моделей искусственного интеллект

Ищем опытного ML-инженера для интеграции нескольких моделей искусственного интеллекта в Telegram ботаНа текущий момент уже написан код на питоне, который генерирует изображение, однако присутствуют проблемы с недостаточно качественной генерацией изображений (генерация производится при помощи одной модели)Бот должен эффективно анализировать текстовые промты и выбирать наиболее подходящую комбинацию моделей для генерации изображений на основе полученных входных данных.Исходя из этого, необходимо решить следующие задачи:- Интеграция нескольких AI-моделей для создания изображений.- Реализация логики выбора комбинации моделей в зависимости от текста промта.- Обеспечение качества генерации изображений (необходимо не просто выбирать соответствующие модели, но произвести корректную оптимизацию для генерации качественных изображений)Требования к кандидату:- Глубокие знания в области машинного обучения и работы с AI моделями.- Опыт разработки и интеграции AI-моделей - Опыт программирования на Python (другой ЯП и переписку кода с нуля не рассматриваем)- Опыт работы с Telegram Bot API.- Умение обрабатывать текстовые промты и адаптировать логику выбора моделей.- Примеры выполненных проектов или портфолио.

Scripts

Опубликован:
23.12.24 09:45

Бюджет:
5000 руб.~$62.42

Программа правки текста на Python

Техническое задание: Программа для правки текста с использованием API GPT Цель: Создать программу-ассистента для интеграции с текстовыми редакторами (MS Word, Google Docs и др.). Пользователь вводит текст, нажимает кнопку "Исправь GPT", после чего текст отправляется на API для обработки и возвращается исправленным. Функционал: Проверка текстового блока (орфография, грамматика, стилистика). Возврат исправленного текста в редактор. Выбор стиля правки: Орфография и грамматика. Продающий стиль. Стиль специалиста по маркетингу. Официальный стиль. Разговорный тон. Настройка тона текста (дружеский, нейтральный, деловой). Режим проверки: быстрая или профессиональная. API: Поддержка модели GPT для редактирования текста. Настраиваемые параметры правки. Обратный отклик со статусом обработки и предложениями. Интерфейс: Кнопка "Исправь GPT" в редакторе. Индикация обработки текста (анимация или статус). Совместимость: Windows, macOS, плагины для Google Docs и MS Word, web-версия. Нефункциональные требования: Обработка текста до 3 секунд на 1000 символов. Низкие системные требования. Безопасность данных (шифрование передачи и хранения). Этапы разработки: Анализ требований. Дизайн и прототипирование.

Скрипты и боты

Опубликован:
23.12.24 09:44

Бюджет:
3000 руб.~$37.45

Создать чат-бот в Телеграмм или Вацап с использованием Python или JavaScript

Cтратегиz по созданию чат-бота для приема заявок на проведение праздников по индивидуальным предпочтениям заказчика. Вот... руб

Веб-разработка

Опубликован:
23.12.24 09:12

Бюджет:
35000 руб.~$436.9

Нужен одностраничник на react

Для проекта (разработка mini apps в telegram) нужен front Нужен одностраничник на react, Backend на Python Разработка в GitHub Фронт должен уметь упаковаться в одну HTML Макет: https://www.figma.com/slides/C0Ra3PJ9CO5YWdcjrUf9V1/Untitled?node-id=1-2&t=dGp74fEPj5Lu5sjR-1 Просьба сориентировать по возможности реализации, бюджету и срокам. Заранее благодарю за ответ.

Создание сайта

Опубликован:
23.12.24 06:19

Бюджет:
15000 руб.~$187.25

Разработка архитектуры БД, обработка ее AI передача API

Ищу уверенного программиста python/php для работы с большим объемом данных, их проверке, оптимизации, и разработки под них БД, для дальнейшей работы по API и CRM. опыт разработки и работы с БД, умение писать API и сервисы/микросервисы под сервера. опыт интеграции чат-ботов на фронт и бекенд, запуск и настройка CRM - приветствуется. Если есть опыт рассылок на Whatsapp/TG - он тоже будет очень кстати.

Скрипты и боты

Опубликован:
23.12.24 05:24

Бюджет:
100000 руб.~$1248.29

Фикс полей и добавление новых полей в python (django)

Добрый день, есть проект сделан на питоне (django), фронт на vue, swagger тоже присутствует. Необходимо: 1) Пофиксить проблему с обработкой заявки на перемещение члена в учете. Заявка создается и принимается корректно, однако перемещения не происходит. Необходимо разобраться почему и исправить проблему. 2) Ввести блок в учетную карточку членов с возможностью отмечать галочками наличие уже прописанных достижений. Данные должны сохраняться корректно для дальнейшего вывода на отдельную страницу и настройки фильтрации. 3) Добавить 1 настроенное поле в бд, чтобы оно сохранялось python manage.py makemigrations по каким-то причинам не проходит, поле во фронт вставлено.

Доработка и настройка сайта

Опубликован:
23.12.24 02:30

Бюджет:
12000 руб.~$149.8

Сделать функционал на python

У нас есть готовое апи, бот, и джанго админка, нужно доделать функционал 1. Получение позиций и создание их, верное вычисление на основе уже готовой формулы и сохранение в базе, отображение в режиме реального времени в админке и у пользователей 2. реферальная ( начисление новым приглашением многоуровнево и кто пригласил, и кого пригласили )

Скрипты и боты

Опубликован:
22.12.24 20:16

Бюджет:
2000 руб.~$24.97

Исправить ошибки в программе написанной на Python

При запуске обновления появляется сообщение об ошибках (см. файл). Выяснить и объяснить причины появления данных ошибок. Устранить ошибки, "допилив" функционал необходимый заказчику.

Десктоп программирование

Опубликован:
22.12.24 19:41

Бюджет:
3000 руб.~$37.45

Telegram бот с ИИ

Нужен бот в Telegram (ЯП: Python), в котором будет интегрировано несколько моделей ИИ. также добавить реферальную систему, проверку подписки на канал, платежную систему и админ-панель. важно также сделать бота асинхронным и добавить БД (MySQL/PostgreSQL - здесь нужно обсудить) более подробное ТЗ скину тому, кого выберу исполнителем.

Скрипты и боты

Опубликован:
22.12.24 16:07

Бюджет:
20000 руб.~$249.66

Мини-приложение для записи

Пример готового бота для записи уже есть @The_Dosia_bot на языке python+aiogram написан, необходимо перенести тоже самое в мини-апп с дизайном бота @MedSyncbot.

Скрипты и боты

Опубликован:
22.12.24 13:12

Бюджет:
20000 руб.~$249.66

Доработка программы по созданию скриншотов на Python

Саму программу можно скачать тут https://saveshot.ru Исходники предоставлю. Фактически вся программа была создана с помощью GPT Есть некоторые моменты которые не удалось победить, на это и требуется доработка. 1. Функционал назначения пользовательского сочетания клавиш в настройках программы. 2. При запуске программы всплывает системное уведомление по подсказке на какое сочетание клавиш делать скриншот. Но если системные уведомления отключены, этого не произойдет. Хочется организовать уведомление другим способом. 3. Возможность выбора автоматического запуска программы с запуском ПК - включать/отключать эту настройку в программе. Чуть позже также задача по редизайну когда будет готов макет и в будущем другие задачи, хотелось бы сотрудничать в долгую. Пожалуйста укажите цену для этих 3 задач.

Десктоп программирование

Опубликован:
22.12.24 10:04

Бюджет:
1000 руб.~$12.49

Скрипт подведения итогов розыгрыша Instagram

Нужно написать скрипт желательно Python (в дальнейшем он будет добавлен на сайт) в котором: 1) собирает комментарии из указанного поста/рилс 2) проверять дубли отметок в комментариях (чекбокс разрешать/запретить, в случае если в конкурсе разрешено только один коммент) 3) проверять подписку на аккаунт или подписки на указанные аккаунты 4) рандомно выбирать одного или нескольких победителей

Скрипты и боты

Опубликован:
22.12.24 08:42

Бюджет:
10000 руб.~$124.83

Работа по яп python

Здравствуйте, нужно сделать работу по яп python. Задание!!! _______________________________________________ 1) Создать программу на языке Python для решение задачи по выбранной теме. В работе должно быть - описание метода - блок-схема решения задачи - при составлении программы на языке Python представить сравнение возможных реализаций программы - рассмотреть есть ли встроенные функции в дополнительных модулях для решения выбранной задачи - при составлении программы на Python предусмотреть возможность создания модуля с функциями пользователя, которые встречаются при составлении программы (к созданным вами функциям должна быть представлена документация) - реализовать возможность ввода/вывода исходных данных/результатов из/в файл ( тип файла выбираете самостоятельно, делаете обоснование выбора типа файла) - в программу включаете обработку исключений - дружественный интерфейс 2) Выбираете дополнительную библиотеку( модуль) Python. Описываете назначение, приводите базовые примеры работы ( Pandas, Numpy, Matplotlib НЕ берёте) _______________________________________________ Задача: . Вычисление корней алгебраического уравнения методами - Ньютона-Рафсона - Берстоу. Тому кто возьмется, кину пример реализации другого варианта docx файла.

Скрипты и боты

Опубликован:
22.12.24 06:32

Бюджет:
1500 руб.~$18.73

Разработка парсера бк

Требуется написать парсер, а также адаптировать написанные разработчиком парсер, если сайты будут меняться.Среднее время реализации парсера при должной подготовке 1-3 дня.Основная задача состоит в том, чтобы парсить данные стабильно, быстро и незаметно для сайтов, язык разработки python.Вам предстоит исследовать сайт – выяснить как фронтенд взаимодействует в бэкендом, найти полезные эндпоинты, которые отдают данные. Наилучший вариант – если вы найдете как подписаться на пуши ( например по вебсокету или graphql) если они есть.Также достаточно хороши эндпоинты отдающие интересующие нас данные как текущие снимки состояний или инкрементальные обновления через pull.Подробное ТЗ составлено.#####По простому: основная работа не столько найти как доставать данные, сколько разобрать формат и отправить его в редис в нужном нам формате.#####Пожалуйста не отзывайтесь если у вас мало времени на реализацию этой задачи(она действительно довольно трудоемкая).

Bots

Опубликован:
21.12.24 12:24

Бюджет:
30000 руб.~$374.49

Необходимо пофиксить баги в простом webapp на python

Здравствуйте, недавно написали систему бронирование рабочих мест в организации (ТЗ этой задачи прикрепил в файлах), но при попытке забронирования места он выдает ошибку (приложил скрины ошибки). Необходимо пофиксить проблемы, что бы всё работало. Проект скину тем, кто заинтересуется в его выполнении.

Скрипты и боты

Опубликован:
20.12.24 20:36

Бюджет:
500 руб.~$6.25

Создание скрипта на Python для тик ток

Нужно создать шаблон на питоне 1.Заходим в куки 2.Проверяем зашли ли в аккаунт тик ток 2.Переходим к видео. 3.Нажимаем пару кнопок и все. И записывает в отчёт, ссылка на видео и название файла куки. Пишите кто может срочно сделать и просьба отвечайте и смотрите личные сообщения я сразу напишу кто устроит меня. Интересует подключение капчи и ещё в графической оболочке pycharm Желательно сделать в многопотоке

Скрипты и боты

Опубликован:
20.12.24 20:27

Бюджет:
1500 руб.~$18.73

Доработать софт уведомлений (сервер - бот)

Добрый день!Нужно доработать проект. Имеется ряд проблем из-за которых софт не выполняет часть функционала и падает.Если вы разбираетесь в запросах, methods api telegram, postgres, развертывании софта на сервере и умеете читать чужой код и логи на сервере, то пишите контакты для связи. Оплата по договоренности.Основной язык: python

Other

Опубликован:
20.12.24 15:50

Бюджет:
50000 руб.~$624.15

Морфологический анализ кода

Доработать для своих данных код на ЯП Python (код представлен). Провести обработку корпуса собранных текстов по теме выбранного проекта (формат файлов - ТХТ, не менее 10 текстов). Предоставить ссылку на папку с кодом и с данными (с доступом), которая содержит: - папку с исходными текстами - папку с обработанными текстами (без тегов). - папку с обработанными текстами с тегами - код на ЯП Python для своих данных (с выходными данными выполнения) DH_ Preprocessing_for_Russian - для обработки текстов на русском языке (mystem, pymorphy) DH_Preprocessing_with_Spacy - для обработки текстов на разных языках (spacy) DH_Preprocessing_with_Spacy_chinese - для обработки текстов на китайском языке

Скрипты и боты

Опубликован:
20.12.24 14:47

Бюджет:
500 руб.~$6.25

Доработать код

Доработать для своих данных код на ЯП Python, с помощью которого провести Токенизацию (с удалением пунктуации), удаление стоп-слов, приведение к нижнему регистру (код представлен). Провести тестирование на предложениях из своих текстов (в формате ТХТ). Представить ссылку на папку с доработанным кодом, ячейки которого выполнены. (DH_Preprocessing_data_Lemma.ipynb) Из zip. файла взять тексты.

Скрипты и боты

Опубликован:
20.12.24 14:42

Бюджет:
500 руб.~$6.25