Есть несколько парсеров на Python.3 самописных и 3 с rapidapi.com (по сути тоже готовые).Нужно их доработать, а именно настроить запись в Apache Kafka, а из кафки разбор в ClickHouse.Возможно, потребуются небольшие доработки по парсерам. Но в целом они простые - просто получаем гет запросами данные с веба и записываем куда нужно.От исполнителя ожидаем:1. Понимание и опыт работы с Apache Kafka и ClickHouse2. Знания по настройке этих систем3. Хорошие знания в Python4. Свободное время для выполнения заказаПодробное ТЗ по каждому парсеру пришлю исполнителю.Потом нужно будет написать на FastApi API для работы с фронтом.Если сработаемся и будет желание, отдам этот проект вам.
Есть несколько парсеров на Python. 3 самописных и 3 с rapidapi.com (по сути тоже готовые). Нужно их доработать, а именно настроить запись в Apache Kafka, а из кафки разбор в ClickHouse. Возможно, потребуются небольшие доработки по парсерам. Но в целом они простые - просто получаем гет запросами данные с веба и записываем куда нужно. От исполнителя ожидаем: 1. Понимание и опыт работы с Apache Kafka и ClickHouse 2. Знания по настройке этих систем 3. Хорошие знания в Python 4. Свободное время для выполнения заказа Подробное ТЗ по каждому парсеру пришлю исполнителю. Потом нужно будет написать на FastApi API для работы с фронтом. Если сработаемся и будет желание, отдам этот проект вам.
Нужно будет сделать парсер на python для сайта http://ecodata.kz:3838/app_dg_map_ru/Где в сайте есть большой ответ с вебсокета. При вызове python функции должна отрабатываться функция и в выводе мне должен возвращать json от ответа вебсокета. Не имеет разницы какой стек вы используете. Главное чтобы была возможность потом вызвать непосредственно через python
Оплата в месяц от 60 000 руб. до 120 000 руб.Мы, ищем талантливого и мотивированного Python-разработчика для работы в динамичной и инновационной команде. Основные задачи будут связаны с разработкой программного обеспечения, применением машинного обучения, написанием ботов и использованием синхронных и асинхронных функций на Python. Если вы увлечены программированием, любите искать нестандартные решения и хотите работать над интересными проектами, то эта работа для вас!Обязанности:- Разработка и поддержка Python-программ с использованием синхронных и асинхронных функций.- Создание и обучение моделей машинного обучения для решения различных бизнес-задач.- Разработка и внедрение чат-ботов и других автоматизированных систем.- Работа с различными фреймворками.- Оптимизация производительности и масштабируемости приложений.- Участие в проектировании архитектуры, код-ревью и тестировании кода.- Взаимодействие с коллегами из других команд для совместной реализации проектов.- Опыт работы с системами управления версиями (например, Git).- Знание основных принципов DevOps и контейнеризации (например, Docker, Kubernetes) будет плюсом.- Опыт работы с RESTful API и/или WebSocket.- Способность быстро обучаться новым технологиям и прикладным библиотекам.- Хорошие коммуникативные навыки для эффективного взаимодействия в команде.Требования:- Отличное знание языка программирования Python и опыт его применения в реальных проектах.- Опыт работы с машинным обучением, включая создание и обучение моделей.- Умение писать чистый, поддерживаемый и тестируемый код.- Хорошее понимание синхронных и асинхронных функций.- Желателен опыт работы с библиотеками для машинного обучения и обработки данных.- Опыт разработки ботов и автоматизированных систем.- Знание принципов разработки, тестирования и оптимизации программного обеспечения.- Умение работать в команде и открытость к новым технологиям и методам работы.- Оформление по самозанятости при условии успешного выполнения тестового задания.Что мы предлагаем:1. Участие в увлекательных проектах с применением передовых технологий.2. Возможность профессионального и карьерного роста.3. Достойная заработная плата.4. Дружелюбная и поддерживающая атмосфера в коллективе.Если вы готовы стать частью нашей команды и развиваться вместе с нами, присылайте свое резюме!Напишите нам на email: [email protected] с пометкой "Разработчик на Python".Контакты:Telegram: @RadaShappТелефон: +7 916 159 91 03 (Дарья)Опыт работы3-6 лет
Требуется специалист для написания и поддержания парсеров-ботов. Задача заключается в создании ботов, которые будут парсить с высокой частотой торговые площадки и забирать лоты удовлетворяющие заданным условиям.Требования к кандидату:1. отличные знания python, js, typescript, mysql, с.. приветствуется2. владение инструментами парсинга, прохождение авторизации только запросами, обход проверок3. создание и работа с тг ботами, работа с почтой по запросам4. готовность к долгосрочному сотрудничеству (боты нужно не только написать, но еще и развивать и поддерживать)5. готовность быть на связи 8- часовПредлагаем:сдельную оплату на первые 4 ботадалее ежемесячный оклад с дальнейшей возможностью официального трудоустройстваОбщий объем - 20-40 ботов.
Нужно будет сделать парсер на python для сайта http://ecodata.kz:3838/app_dg_map_ru/ Где в сайте есть большой ответ с вебсокета. При вызове python функции должна отрабатываться функция и в выводе мне должен возвращать json от ответа вебсокета. Не имеет разницы какой стек вы используете. Главное чтобы была возможность потом вызвать непосредственно через python
Ищу человека в команду, кто доработает парсеры и маппер. Фулл-тайм практически на одну задачу. строго - не джун, и уже работали с подобным. По оценке задача тянет часов на 25-35. SqlAlchemy, Postgres, Fastapi, Asyncio, Git, опционально Docker, Python. Описание задачи Модификация базы данных парсера. Разработка маппера, адаптированного под унифицированные данные. Модификация базы данных сайта. Настройка преобразования данных из JSON в формат базы сайта. Реализация API для работы с товарами и их атрибутами. Автоматизация обновления данных и процесса миграций. = имеется три базы, под каждую базу свои модели и механизм взаимодействия (на sqlalchemy). И три отдельных приложения (если не считать фронта), на данный момент в трёх докер-контейнерах. Главная сложность в том, что изменения структуры одной бд, неизбежно ведут к необходимости модификации вышестоящих систем: мапера, апишки, запросов на фронте (Next.js), и в админке. Наша цель — найти оптимальный путь, желательно через упрощение и компактификацию кода, для дальнейшей поддержки и масштабирования = Детальное задание пришлю в сообщения.
торгово-производственные предприятия скорее всего используют "1С Управление торговлей" , там клиентские менеджеры продают продукцию и создают заказы на доставку. Нам нужно чтобы эти заказы из 1С попадали в нашу программу в блок "Заказы" к Заказчику уже заполненные данными, чтобы пользователю не нужно было переносить все данные из 1С создавая заказы вручную. Мы сами с 1С не работали, у бухгалтеров только их функционал там. Можем арендовать доступ к облачному решению "Управление торговлей" и другим пакетам у 1С.в нашей программе в блоке "Журнал перевозок Заказчика" заказы уже будут иметь информацию о Перевозчике (контрагенте), стоимости доставки, будет понятен статус доставки. Из "Журнал перевозок Заказчика" заказы с новыми данными должны возвращаться в 1С, где предприятие сможет работать с ними дальше, понимая, что услуга оказана, видеть кто контрагент (перевозчик), ставить их на оплату и т.д.
Приветствую каждого заглянувшего сюда. Моя команда ищет опытного специалиста в разработке Telеgram ботов. Что нужно для того чтобы мы взяли тебя в команду: Python Aiogram3 Дополнительные знания будут только плюсом. Наша команда создаёт телегрaм ботов разных уровней и принимает заказы на разных биржах. В общем ждём тебя в своих рядах!
Приветствую!История вопросаНедавно обнаружил, что недоступен сайт организации и я не могу зайти на wp-login.phpВ результате проверки хостинг-провайдера nic.ru получен следующий ответ:"В результате антивирусной проверки вашего сайта в относящихся к нему файлах обнаружен вредоносный программный код. Отчет о проверке доступен в разделе "SSL и антивирус" -> "Антивирус" -> "История операций" панели управления хостингом.Если сайт был взломан, то лучшим вариантом будет восстановить бэкап сайта на момент когда взлома не было, а после обновить используемые CMS и плагины, чтобы закрыть уязвимость. Стоит учитывать, что данный вопрос выходит за рамки услуг оказываемых технической поддержкой хостинга и по данному вопросу рекомендуем обратиться к профильным специалистам. Для восстановления сайта из резервной копии, необходимо: - Перейти в панель управления хостингом(nic.ru/hcp2), далее "Файловый менеджер"; - Переименовать директорию ~/имя_сайта/docs, например в docs_old; - Перейти в раздел "Резервные копии", выбрать дату восстановления, выбрать Ваш сайт - "Восстановить полностью" - "Восстановить с заменой", через 5-15 минут проверить функционал сайта.Подробная инструкция "Восстановление сайта из резервной копии": https://www.nic.ru/help/vosstanovlenie-sajta-iz-rezervnoj-kopii_6797.html Если это не поможет, необходимо обратиться к разработчику сайта, либо к документации по используемой CMS."Как вы уже догадываетесь, бекап не помог :)ИтогПроверка антивирусом провайдера выдаёт "угроз не обнаружено" на 01.09.24, но уже на 01.10.24 "угрозы есть". Обнаружено 8 вредоносных (зараженных) элементов типа Trojan.Inject.1954 и Trojan.Dropper.28 в разных директориях сайта. На сегодняшний день (25.11.24) антивирус провайдер выдает 389 угроз среди которых Trojan.Injecеt, Htaccess.Inject, Perl.Trojan, Python.Trojan (вероятно ещё что-то).ЗадачаВылечить рассадник ;)Получить доступ к сайту через WordPress с целью копирования информации, структуры и дизайна сайта.Получить чистую копию сайта на внешнем носителе или в облако, для возможного "переезда" на другой сервис.Благодарю за внимание! Всех благ :)
Тема: программа, написанная на Python, которая обнаруживает дроны (квадрокоптеры и тд) Задача такова: Я: С помощью ChatGPT я анализирую заранее написанную простую программу, которая обнаруживает дроны на видео Вы: Вы помогаете в анализе кода и помогаете его усовершенствовать отвечая на мои вопросы. Заранее готовые вопросы: 1. Как до обучить модель YOLOv3? 2. Если мы найдем, как ее дообучить, то как ее применить в коде? Время: до 5 часов
Привет, необходимо причесать код парсера, очистить от всего лишнего что не работает ( функции) + сделать 2 мелкие доработки 1 - сделать правильный фильтр, чтобы можно было контролировать задержку между запросами к апи событий. 2 - сделать более правильную и динамическую задержку между общим запросом Ну и главное не сломать)
Написан скрипт на python для парсинга данных с биржи OKX за последние 5 лет, всё реализовано согласно документации отсюда: https://www.okx.com/docs-v5/en/#order-book-trading...Но при работе он отдаёт No data returned, No data available. Код скрипта:import requestsimport pandas as pdfrom datetime import datetime, timedeltaimport time# Function to fetch historical data from OKX APIdef fetch_candlesticks(inst_id, bar='1D', start_time=None, end_time=None, limit=100): url = f"https://www.okx.com/api/v5/market/history-candles" params = { 'instId': inst_id, 'bar': bar, 'limit': limit, } if start_time: params['after'] = start_time # Параметр для получения данных после этой временной метки if end_time: params['before'] = end_time # Параметр для получения данных до этой временной метки print(f"Requesting data for {inst_id} | Bar: {bar} | After: {start_time} | Before: {end_time}") response = requests.get(url, params=params) # Check for rate limit errors (Too many requests) if response.status_code == 429: print("Rate limit exceeded. Waiting for 2 seconds before retrying...") time.sleep(2) # Wait before retrying return fetch_candlesticks(inst_id, bar, start_time, end_time, limit) if response.status_code == 200: data = response.json().get("data", []) print(f"Received {len(data)} rows of data.") return data else: print(f"Error fetching data for {inst_id} with timeframe {bar}: {response.status_code}") return []# Function to get all historical data for a specific timeframe and perioddef fetch_full_history(inst_id, bar='1D', years=5): end_time = int(datetime.now().timestamp() * 1000) # Текущий момент в миллисекундах start_time = int((datetime.now() - timedelta(days=years * 365)).timestamp() * 1000) # 5 лет назад all_data = [] while end_time > start_time: data = fetch_candlesticks(inst_id, bar=bar, end_time=end_time) if not data: print(f"No data returned for {inst_id}. Stopping further requests.") break all_data.extend(data) end_time = int(data[-1][0]) # Обновление end_time до временной метки последней свечи print(f"Updated end_time to {end_time} (millis). Continuing to fetch earlier data.") return all_data# Function to save data to Exceldef save_to_excel(inst_id, data_dict, file_name='candlesticks_data.xlsx'): with pd.ExcelWriter(file_name) as writer: for timeframe, data in data_dict.items(): if not data: print(f"No data available for {inst_id} with timeframe {timeframe}. Skipping.") continue # Этот continue должен быть на том же уровне отступа # Debug: Print the first row to check structure print(f"Sample data for {inst_id} [{timeframe}]: {data[0]}") # Fix for 9 columns: drop duplicate Quote Volume columns = ['Timestamp', 'Open', 'High', 'Low', 'Close', 'Volume', 'Quote Volume', 'Ignored', 'Number of Trades'] try: df = pd.DataFrame(data, columns=columns) # Drop the 'Ignored' column df.drop(columns=['Ignored'], inplace=True) except Exception as e: print(f"Error creating DataFrame for {inst_id} [{timeframe}]: {e}") continue # Этот continue должен быть на том же уровне отступа # Convert Timestamp to human-readable format if 'Timestamp' in df.columns: df['Timestamp'] = pd.to_numeric(df['Timestamp']) # Преобразование в число df['Timestamp'] = pd.to_datetime(df['Timestamp'], unit='ms') df['Date'] = df['Timestamp'].dt.date df['Time'] = df['Timestamp'].dt.strftime('%H:%M:%S') df = df[['Date', 'Time', 'Open', 'High', 'Low', 'Close', 'Volume', 'Quote Volume', 'Number of Trades']] # Save data to the respective sheet try: df.to_excel(writer, sheet_name=f'{timeframe}', index=False) except Exception as e: print(f"Error writing to Excel for {inst_id} [{timeframe}]: {e}") continue # Этот continue также должен быть на том же уровне отступа print(f"Data saved to {file_name}")# List of trading pairs (instrument IDs) with pairs that include USDTinst_ids = [ 'BTC-USDT', 'ETH-USDT', 'SOL-USDT', 'TON-USDT', 'XRP-USDT', # Use USDT pairs '1INCH-USDT', 'ADA-USDT', 'ATOM-USDT', 'DOT-USDT', 'EGLD-USDT', # Update to available USDT pairs 'NEAR-USDT', 'TRX-USDT', 'ISP-USDT', 'KSM-USDT', 'ALGO-USDT']# List of timeframes (5m, 15m, 1H, 1D)timeframes = ['5m', '15m', '1H', '1D'] # Таймфреймы, которые вы указали# Fetch data and save to Excel for each trading pairfor inst_id in inst_ids: data_dict = {} for timeframe in timeframes: print(f"Fetching data for {inst_id} with timeframe {timeframe}...") data = fetch_full_history(inst_id, bar=timeframe, years=5) if data: # Проверяем, что данные не пустые data_dict[timeframe] = data if not data_dict: print(f"No data available for {inst_id}. Skipping.") continue # Этот continue должен быть на том же уровне отступа file_name = f"{inst_id}_candlesticks.xlsx" save_to_excel(inst_id, data_dict, file_name=file_name)
Мне нужно разобраться в базовых вещах: -курсоры -как использовать библиотеку Psycopg2 -как полученное отдавать в панду -как прокатывать апдейты и каскадные изменения Самый примитив (как установить юпитер или чарм, как импортить библиотеки) не нужен.
Я столкнулся с проблемой: несколько лет назад я зашифровал приватный ключ с помощью RSA-алгоритма, используя Python. К сожалению, сейчас я не могу расшифровать его и восстановить доступ к важным данным. Это связано с тем, что я утратил часть информации, связанной с процессом шифрования. Однако я сохранил основные данные, включая: Код на Python, который использовался для шифрования. Для вашего удобства я собрал всю информацию в одном документе (Word-файл). Он содержит: Подробное описание проблемы. Код на Python, использованный для шифрования. Зашифрованные данные и предполагаемые варианты ключа.