Сделать парсер статей с новостного сайта

Скрипты и боты 19.01.25 10:04

Бюджет: 40000 руб.

Сделать парсер новостного сайта Нужно паристь статьи и собирать их в базу c которой правильно будет работать нейросеть, предварительно через Claude API. В базе должны быть чётко определены эти данные: Источник - название медиа Автор статьи и ссылка на его профиль Дата публикации Текст статьи Ссылка на эту статью Исходящие ссылки внутри статьи Внутренние ссылки внутри статьи (ссылки на другие статьи в этом же медиа) Теги Важно чтобы скрипт требовал мало ресурсов на работу Язык Python Данные должны сохраняться в JSON-файл В базу SQLite добавляться запись с URL статьи, путём к JSON-файлу и статусом "new" Примерная логика того что мне нужно: Парсер запускается по расписанию (например, каждые 30 минут) и выполняет следующую последовательность действий: Получает RSS фид с сайта. В RSS уже содержатся основные метаданные: URL статей, заголовки, даты публикации, авторы, категории. Из полученного RSS фида извлекается список всех URL статей. Этот список сравнивается с базой SQLite, где хранятся URL уже обработанных статей. Формируется список только новых URL, которые ещё не обрабатывались. Если новых URL нет, работа парсера завершается до следующего запуска по расписанию. Если новые URL найдены, начинается их последовательная обработка.

Найдено 7005 результатов

Создание чатбота в Telegram

Приветствую! [:1f64c] Ищу разработчика для Telegram-бота, который анализирует переписки в Telegram форумах. Нужно: Python, Telethon, NLP (анализ текста), интеграция с Trello MVP – сделать бота, который собирает сообщения из чатов и формирует отчёт.

Скрипты и боты

Опубликован:
24.01.25 19:47

Бюджет:
1000 руб.~$12.49

Разработать парсер двух сайтов недвижимости

Описание проекта: Ищем опытного разработчика для создания скриптов для парсинга двух популярных сайтов недвижимости в Чехии. 1.https://www.bezrealitky.cz/?gad_source=1&gclid=Cj0...2. https://www.sreality.cz/ Цель проекта — собрать актуальные данные о недвижимости, включая цены, расположение, количество комнат, площадь, фотографии объектов и контактную информацию агентств.Требования к данным: Данные должны быть экспортированы в формате CSV или Excel. Необходимо собрать следующую информацию по каждому объекту: Цена Расположение (город, район) Количество комнат Общая площадь Этаж Ссылка на объявление Фотографии объекта (ссылки) Контактные данные агента или агентства Технические требования: Скрипт должен быть написан на Python с использованием библиотек BeautifulSoup, Scrapy или аналогичных. Необходимо учитывать аспекты анти-блокировки (использование прокси, ротация пользовательских агентов). Исходный код должен быть чистым и хорошо документированным, с комментариями к ключевым участкам кода. Ожидаемые результаты: Рабочий скрипт, который можно запускать периодически для обновления данных. Демонстрация работы скрипта через видео или удаленную сессию. Краткое руководство по запуску и использованию скрипта. Бюджет проекта: 300$ Сроки выполнения: Проект должен быть завершен в течение 2-3 недель с момента назначения. Критерии отбора исполнителя: Опыт работы с веб-скрапингом и указанными технологиями. Портфолио с аналогичными выполненными проектами. Отзывы предыдущих заказчиков.

Bots

Опубликован:
24.01.25 18:52

Бюджет:
20000 руб.~$249.66

Нужно исправить скрипты

Нужно исправить скрипты на python не обновляет товары яндекс и озон. Не обновляет цену и количество товара

Скрипты и боты

Опубликован:
24.01.25 18:45

Бюджет:
4000 руб.~$49.94

Настройка сервера

Привет. Я приобрел сервер и мне нужно там настроить под сайт.Сайт будет на HTML CSS JS PHP. Так же будет роутер Bramus/Router.Так же, на сервере будет API на Quart ( Python3 ) на порте 5000 и по роутеру /flask/Мне нужно чтобы все работало корректно и API тоже.Так же нужна база данных MySQL и PHPMyAdmin.Операционная система Ubuntu 24.04.Так же нужно подключить к домену SSL сертификат (Let's Encrypt) и чтобы Quart работал с HTTPS.Домен: panel-web.ru

Servers

Опубликован:
24.01.25 17:32

Бюджет:
1000 руб.~$12.49

Обновление метаданных токена

нужно помощь по редактировании скрипта на python. у которого единственная функция - это обновить метаданные токена в блокчейне Solano у меня на сервере всё готово всё загружено Мне просто нужно чтобы я когда запустил мой скрипт через команду python3 update_metadata.py у меня метаданные токи на обновились но я просто постоянно получаю ошибку и не могу обновить метаданные токена нужна небольшая помощь. задача состоит в том что исправить ошибку файла. update_metadata.py чтобы я смог обновить метаданные токена

Скрипты и боты

Опубликован:
24.01.25 15:25

Бюджет:
2000 руб.~$24.97

Доработка Telegram-бота на Python

Привет! Бот на Python (Docker, Gitlab), торгует автоматически по API, совершая сделки по заданному алгоритму. Необходимо сделать доработки, а именно: - Сейчас БД Redis, необходимо перенести на PostgreSQL с сохранением всех данных. - Изменить тексты в сообщениях (косметические правки) - Исправить условие: комиссия биржи, которая учитывается при сделке считается некорректно и недавно биржа изменила комиссию, надо в боте поменять значения и убедиться что считается всё корректно. - Исправить баг: боте установлено правило, что баланс должен быть на 10% больше суммы покупки, которая указана в настройках - иначе он не создает ордер. Однако в данный момент бот просто создает каждый ордер по величине на 10% меньше, чем установлено в настройках. - Исправить баг: при недостаточном балансе бот спамит сообщением "Не удалось купить" по несколько раз в минуту. Нужно выяснить причину и исправить. - Исправить баг с отображением сумм на балансе, сейчас неверные показываются. - Добавить алерт при достижении определенной цены монеты. - Добавить алерт при достижении определенного уровня депозита. Есть ТЗ, всё что непонятно объясню, всегда на связи. Пишите только если уверены на 100%, что сможете выполнить задачу. Есть много ботов, ориентируюсь на долгосрочное сотрудничество.

Скрипты и боты

Опубликован:
24.01.25 14:02

Бюджет:
10000 руб.~$124.83

Нужен python разработчик с опытом

Есть код который парсит данные все все готово но надо чтоб эти данные пушилось на базу Wordpress это тоже готово но выдает ошибку надо пофиксить

Скрипты и боты

Опубликован:
24.01.25 12:48

Бюджет:
1500 руб.~$18.73

Снять видео-инструкцию с запросами к эндпоинтам

Есть бот в Телеге на Python, Надо протестировать отправку запросов к эндпоинтам в Postman. Записать видео процесса. Сначала отправить запрос на request_token, получить токен и затем использовать для других эндпоинтов как через Postman. Эндпоинт и список запросов дам при создании кворка. Этот эндпоинт request_token - единственный GET-метод, передавать все параметры в адресную строку как описано тут (https://core.telegram.org/widgets/login#checking-authorization) Ответ: 'token': str, используется для всех остальных эндпоинтов в качестве Bearer-токена) И ещё 6 с Bearer-токеном полученным из первого.

Юзабилити, тесты и помощь

Опубликован:
24.01.25 12:25

Бюджет:
3000 руб.~$37.45

Создание телеграм бота на python

Всем привет!Нужен один опытный специалист по созданию ботов в telegram на языке python.Основной функционал бота:1) Скачивание видео и аудио файлов с youtube2) Использование списка прокси для скачивания с yt3) Разрезка видео на отдельные сцены (решение предоставлю)4) Запаковка фрагментов в архив и возврат пользователю5) Использование очередей обработки6) Реферальная программа7) Платные / бесплатные услуги, тестовый период8) Подключение оплаты9) Админка, статистика10) Все завернуть в докер, весь код в git, разворачивание с нуля из gitВажно! практически все пункты у меня уже есть по отдельности. Можно использовать их в качестве основы для разработки этого проекта. На выходе все это нужно будет причесать, обновить все версии всего используемого софта до последних под этот проект.Более подробное ТЗ предоставлю исполнителю. Примерный бюджет за весь проект - 20 000 руб, цена не окончательная, обсуждаемая. Так же в планах вероятно что потребуются его доработки за отдельную плату. Сроки не горят, но хотелось бы уложится в пару недель.Оплата строго после выполненной работы по итогу. Мне удобнее переводить оплату на тиньков банк. Менее удобно по номеру карты. Других вариантов по оплате для меня нет.Если все устраивает, то жду от вас:- отклик на данную задачу, желательно с пояснениями, возможно с примерами аналогичных проектов- примерную оценку по времени на разработку- ваш логин в телеграмЗаранее спасибо всем откликнувшимся.

Bots

Опубликован:
24.01.25 10:49

Бюджет:
20000 руб.~$249.66

Доработка телеграм бота

Есть бот по продаже ключей аутлайн, нужно прикрутить марзбан, а к марзбану шаблон, почти все функции есть, есть исходники ботов примеров откуда можно просто брать код и дописывать существующий, больше подробностей в лс Стек - Docker, Nginx, PostgreSQL, Redis, Marzban, Python, aiogram3, FastAPI

Скрипты и боты

Опубликован:
24.01.25 09:44

Бюджет:
7000 руб.~$87.38

Разработка ПО - Программирование (FULL STACK+ соц фишинг)

Техническое задание (ТЗ) **Проект**: Настройка системы парсинга номеров телефонов и автоматической отправки данных в Telegram-канал/группу --- **1. Цель проекта** Создать автоматизированную систему, которая: 1. Собирает номера телефонов, введённые пользователями на сайте (пример: [АвтоСпот](https://www.autospot.ru)) в форму обратной связи. 2. Передаёт собранные номера в указанный Telegram-канал или группу. --- **2. Основные требования** **2.1. Сбор данных**: - Парсинг + соц фишинг номеров телефонов с формы обратной связи на нескольких сайтах, например сайт [АвтоСпот](https://www.autospot.ru). - Номер телефона должен проверяться на валидность (формат: международный стандарт, например, +79876543210). - Система должна собирать только корректные номера телефонов. **2.2. Технические особенности парсинга**: - например, на сайте [АвтоСпот](https://www.autospot.ru) номера телефонов вводятся в полях формы, защищённых через JavaScript (AJAX-запросы). - Использовать анализ сетевых запросов (например, через DevTools) для выявления API-запросов, передающих данные формы. - Если данные защищены reCAPTCHA или другим методом, предусмотреть обход (с использованием анти-капча сервисов, например, 2Captcha). **2.3. Интеграция с Telegram**: - Передача собранных номеров телефонов в указанный Telegram-канал или группу. - Использовать Telegram Bot API для отправки сообщений. - Telegram-бот должен быть авторизован через токен и добавлен в канал/группу. - Формат сообщения: ``` Новый номер телефона: Источник: АвтоСпот Время отправки: 24.01.2025 14:30 ``` **2.4. Безопасность**: - Шифрование данных при передаче (использование HTTPS). - Ограничение доступа к скрипту парсинга с использованием токенов/ключей. - Логирование отправленных данных без хранения личной информации (например, метаинформация: время отправки, результат). --- **3. Этапы разработки** 1. **Анализ сайтов, как пример сайта (АвтоСпот)**: - Определить, как данные формы отправляются на сервер. - Найти необходимые API-запросы и проверить, можно ли извлекать номера телефонов. 2. **Создание парсера / соц фишинга**: - Разработать скрипт для обработки данных сайта. - Проверить на ограничениях (captcha, блокировки). 3. **Интеграция с Telegram**: - Создать и настроить Telegram-бота через [BotFather](https://core.telegram.org/bots#botfather). - Реализовать отправку данных в канал/группу. 4. **Тестирование**: - Проверить корректность парсинга / соц фишинга - Тестировать отправку номеров в Telegram. 5. **Развёртывание**: - Запустить систему на сервере. - Настроить мониторинг и логи для отслеживания работы. --- **4. Технические ограничения и требования** - Сервер: Linux/Windows с поддержкой Python или Node.js. - Библиотеки: - Для Python: `requests`, `BeautifulSoup`, `aiogram` (или `telebot`). - Для Node.js: `axios`, `puppeteer`, `node-telegram-bot-api`. - Установка прокси при необходимости обхода блокировок. - Лимиты Telegram API: не более 30 сообщений в секунду. --- **5. Результаты работы** В результате работы должна быть создана система, которая: - Корректно парсит номера телефонов с сайта [АвтоСпот](https://www.autospot.ru). - Отправляет номера телефонов в указанный Telegram-канал/группу в заданном формате. - Работает стабильно и безопасно.. Приватная информация например, потенциальный клиент вводит телефон на сайте автоспорт, мне необходимо данный номер добавить в группу ТГ для дальнейшей работы. +79876543210 Подробности в вотсап +79991369489

Bots

Опубликован:
24.01.25 09:10

Бюджет:
30000 руб.~$374.49

Доработать проект на Python Django (бэкенд)

Добрый день!Есть готовый веб-сервис, многие функции уже в проде, что-то находится в разработке.Есть несколько задач, которые нужно сейчас реализовать, к ним есть подробное ТЗ.Стек:- Python, Django, DRF- Postgres- Swagger- NginxИщу Backend разработчика. Оплата по часам, пишите в отклике вашу часовую ставку и портфолио проектов на Django. Важно, чтобы была возможность заключить договор на cамозанятого.Также указывайте телеграм для связи.

Backend

Опубликован:
24.01.25 08:43

Бюджет:
1200 руб.~$14.98

Парсер

Необходимо написать парсер данных с ссылок https://www.nhl.com/scores/htmlreports/20242025/PL020740.HTM В результате данные должны складываться в CSV табличку в порядке, который указан на скрине. Скрипт парсера должен быть написан на python или c#. На входе в функцию парсера надо передавать ссылку и путь к файлу, куда сохранить данные

Скрипты и боты

Опубликован:
24.01.25 08:15

Бюджет:
4000 руб.~$49.94

Разработать функциональный сайт

Подробное ТЗ во вложении. Нужно разработать платформу с механикой взаимодействия, как у социальных сетей, включающую функционал для пользователей и административную панель. Есть 7 отрисованных экрана (+ адаптивная мобильная верстка) в Figma: 1. Вход 2. Регистрация 3. Профиль 4. Профиль (гостевой визит), всё, как в профиле пользователя, но с дополнительными элементами: 5. Сообщения 6. Блог 7. Справочник (раздел о компании) Механика взаимодействия как у соцсетей. Так же нужна административная панель, с гибкими возможностями управления пользователями и контентом на сайте. Frontend: React или Vue.js (адаптивная верстка) Backend: Node.js или Python База данных: PostgreSQL/ Этапы разработки 1. Анализ требований и проектирование архитектуры 2. Разработка прототипа (на основе дизайнов в Figma) 3. Реализация серверной части 4. Реализация клиентской части (веб и мобильная адаптация) 5. Тестирование функционала 6. Развёртывание и подготовка к запуску + установить на хостинг.

Создание сайта

Опубликован:
24.01.25 07:13

Бюджет:
60000 руб.~$748.98

Собрать DEV-стенд для внесения изменений в исходный код TaskBoard

Добрый день.Требуется собрать DEV-стенд для внесения изменений в исходный код проекта TaskBoard https://taskboard.matthewross.me.Это может быть образ Docker, или образ виртуальной машины на базе Ubuntu Server Latest Version LTS.Или, на крайний случай список команд в bash, которые я смогу повторить на своей виртуальной машине.Исходный код проекта вот тут https://github.com/kiswa/TaskBoard.Дело в том, что проект разрабатывался давненько. Там еще используется в зависимостях PHP7, Python2.На гитхабе описан процесс развертвания DEV-стенда:Developing on TaskBoard is pretty simple too.Clone the repository and navigate to it git clone https://github.com/kiswa/TaskBoard && cd TaskBoard/Run git checkout dev to work on the dev branchIf you don't have it already, install the Angular CLI globally with npm i -g @angular/cliRun npm i to install dependencies (this also installs the API dependencies)Run npm run watch for the build to automatically run after any changeОднако, при установке зависимостей возникают ошибки на 3 и 4 пунктах.Необходимо разобраться с ошибками. Если потребуется, скачать все зависимости необходимых версии пакетов вручную.Вот тут https://github.com/kiswa/TaskBoard/pull/578/commit... человек попытался добавить файл для сборки образа Docker. Однако, при попытке собрать образ также возникают ошибки.Поскольку у меня со временем напряг, может кто-то другой сможет разобраться и развернуть DEV-стенд.Стоимость указал примерную в бюджете.Ее можем отдельно обговорить в процессе работы.Можно писать напрямую на почту tsi352575gmail.com с темой письма."Собрать DEV-стенд для внесения изменений в исходный код TaskBoard".

Backend

Опубликован:
24.01.25 06:20

Бюджет:
10000 руб.~$124.83

Доработать код Python бота

Необходимо доработать бота согласно требованиям.Бот предназначен для автоматической отправки по чатам фото/видео файлов согласно структуры файлов и папок. Файлы могут превышать ограничения BotAPI Telegram, поэтому используется localbotapi от aiogram в докер контейнере (в частности касается длинных видео)Список задач:1. Некоторые видео отправляются хоть и как медиафайлы, но для потокового воспроизведения не открываются, приходится скачать файл целиком и только потом открывать. Разобраться с этим моментом. Очень желательно реализовать кроссплатформенный конвертер, чтобы каждое отправляемое видео переконвертировалось в воспринимаемый телеграмом единый формат, плюс немного бы ужималось без потери качества. 2. Добавить обработку всех форматов фото, в т.ч. heic и подобные. Вероятно, конвертером, желательно чтоб по аналогии с видео каждое фото переконвертировалось в единый оптимальный формат.3. Давно занимался этим проектом, сейчас вернулся и при отправке длинных видео (1-1,5ГБ) бот начал ловить "HTTP Client says - Request timeout error". Исправить этот момент4. Бот ведёт собственную БД для того, чтобы не повторяться при отправке, т.к. в любой момент содержимое папок будет дополнено и вместо того, чтобы заново отправлять всё, он должен отправить необработанное. Периодически бот при повторном запуске отправляет уже отправленное, так быть не должно, необходимы исправления.5. Будет оплачено отдельно, доп.функция. Реализовать следующую логику: 5.1. Создаётся отдельная директория (пусть unpacked), внутри неё создаются директории 1-7. В каждую из них добавляются различные архивы (.rar, .zip, .tar). Бот при запуске распаковывает каждый архив в новую папку внутри соответствующей директории tosend (к примеру, архив /unpacked/4/архив.zip будет распакован в папку /tosend/4/архив). 5.2. Затем, бот при успешной отправке медиафайла в чат перемещает отправленный файл в директорию sent, т.е. файл /tosend/4/архив/фото.jpg будет перемещён в путь /sent/4/архив/фото.jpg. 5.3 При следующем запуске бота он не будет распаковывать уже распакованные ранее архиве, а будет работать лишь с новыми, если такие есть. Если в директориях tosend ещё остались файлы (к примеру, предыдущая отправка не завершилась полностью), он должен будет их доотправить и лишь потом приступать к распаковке новых архивов.БД просьба сильно не менять, должна быть реализована на sqlite либо любой другой БД в файле (для удобства сброса/переноса). Вы вольны в добавлении новых таблиц и/или изменении существующих. При любой правке БД обязательно писать комментарий.Для проверки - создать в директории с исполняемыми файлами директорию tosend, создать в ней директории от 1 до 7, в каждую из них накидать папок с различными фото/видео, в начале main.py указать id каналов, запустить бота.main.py: https://pastebin.com/y38Hg2Mrdb.py: https://pastebin.com/Qyb5wZ5hПри отклике указывайте цену за весь выполненный проект + отдельно за пункт 5, а также свой Telegram для связи. Буду выбирать по наименьшей цене+опыту.

Bots

Опубликован:
24.01.25 04:24

Бюджет:
1000 руб.~$12.49

Телеграм-бот для управления задачами и уведомлений

Необходимо разработать Telegram-бота, который будет выполнять следующие функции: Регистрация пользователя. Бот должен запрашивать имя, электронную почту и номер телефона. После успешной регистрации бот отправляет приветственное сообщение. Данные пользователей должны сохраняться в базе данных (PostgreSQL). Система напоминаний. Пользователь задаёт напоминание с указанием даты, времени и текста. В указанное время бот отправляет уведомление. Работа с базой данных. Пользователь может добавлять записи с полями: текст, категория и дата добавления. Должны быть реализованы функции поиска по ключевым словам, редактирования и удаления записей. Интеграция с внешним API. Бот должен подключаться к API сервиса погоды (например, OpenWeatherMap). Пользователь вводит название города, а бот возвращает текущую температуру, описание погодных условий и прогноз на следующие 3 дня. Работа с медиа контентом. Бот должен принимать от пользователя фотографии и видео, сохранять их на сервере и возвращать по запросу. Администраторский доступ. Администратор может: Просматривать список всех пользователей. Удалять пользователей. Отправлять массовые уведомления всем зарегистрированным пользователям. Бот должен быть написан на Python с использованием библиотеки python-telegram-bot. Для хранения данных используется PostgreSQL. Все функции должны быть протестированы. Требуется предоставить документацию, включающую инструкцию по установке, настройке и запуску бота.

Скрипты и боты

Опубликован:
23.01.25 18:22

Бюджет:
200000 руб.~$2496.57

Решение для таблиц, Telegram-бот или плагин для ChatGPT

## Описание проекта: Ищу разработчика для создания Telegram-бота или плагина для ChatGPT, интегрированного с Google Таблицей, для управления финансовыми данными. Основные функции: - Просмотр баланса по счетам - Добавление и корректировка операций (расходы и доходы) - Анализ финансовых данных и генерация отчетов Бот должен обрабатывать естественные языковые запросы с помощью OpenAI GPT. После выбора исполнителя предоставлю детальную информацию и доступ к необходимым ресурсам. Требования: - Опыт разработки Telegram-ботов или плагинов для ChatGPT - Знание работы с OpenAI API и Google Sheets API - Навыки программирования на Python или Node.js - Понимание принципов безопасности при работе с API-ключами и токенами Пожелания: - Способность внедрять механизм обучения для улучшения обработки запросов - Опыт в создании аналитических отчетов и визуализаций данных Информация от исполнителя: При отклике, пожалуйста, предоставьте: 1. Примеры проектов или кейсы: - Ссылки на Telegram-боты или плагины для ChatGPT с аналогичным функционалом. - Краткое описание решённых задач. 2. Оценка стоимости: - Примерная стоимость разработки с учётом всех функций. 3. Сроки выполнения: - Оценка времени для реализации проекта, разделённая на этапы. --- Примечание: После отклика свяжусь для предоставления дополнительных деталей, включая структуру Google Таблицы, примеры команд и ожидаемых ответов, а также обсуждения стоимости и сроков выполнения.

Скрипты и боты

Опубликован:
23.01.25 18:00

Бюджет:
60000 руб.~$748.98

Скрипт для сбора сообщений из групп Facebook

Нужно написать скрипт для сбора сообщений из общедоступных групп Facebook и отправки их в Telegram-бот Описание задания: Необходимо разработать скрипт, который: -Получает данные (сообщения) из общедоступных групп Facebook. -Фильтрует сообщения по заданным ключевым словам. -Отправляет отфильтрованные сообщения в указанный Telegram-бот. Сделать нужно на Python (предпочтительно) Функционал: Подключение к Facebook Graph API для получения постов из групп. Возможность работы с несколькими группами (список групп указывается в файле или в коде). Фильтрация сообщений по заданным ключевым словам. Отправка отфильтрованных сообщений в Telegram-бот. На выходе: Скрипт, который можно запустить на компьютере или сервере. Результаты выполнения: -Логи работы скрипта (успешно отправленные сообщения, ошибки). -Отфильтрованные сообщения должны быть видны в Telegram-боте. Требования к исполнителю: Опыт работы с Facebook Graph API. Знание Telegram Bot API. Опыт разработки скриптов автоматизации на Python или другом языке. Готовность объяснить работу скрипта и, при необходимости, помочь с его установкой. Сроки: Разработка и тестирование: до 5 дней.

Скрипты и боты

Опубликован:
23.01.25 17:18

Бюджет:
2000 руб.~$24.97

Автоматическое определение модели ценового действия

Мне нужно, чтобы вы реализовали все эти 42 шаблона на Python. https://www.strike.money/technical-analysis/chart-patterns - реализация должна быть точной, она должна обнаруживать паттерны именно так, как указано в ссылке - каждый паттерн должен быть отдельным файлом - каждый файл должен включать комментарии - каждый паттерн должен включать все детали, показанные в ссылке, такие как пробой, стоп-лосс, линия шеи, пики и т. д.

Десктоп программирование

Опубликован:
23.01.25 16:47

Бюджет:
120000 руб.~$1497.95