Сделать парсер статей с новостного сайта

Скрипты и боты 19.01.25 10:04

Бюджет: 40000 руб.

Сделать парсер новостного сайта Нужно паристь статьи и собирать их в базу c которой правильно будет работать нейросеть, предварительно через Claude API. В базе должны быть чётко определены эти данные: Источник - название медиа Автор статьи и ссылка на его профиль Дата публикации Текст статьи Ссылка на эту статью Исходящие ссылки внутри статьи Внутренние ссылки внутри статьи (ссылки на другие статьи в этом же медиа) Теги Важно чтобы скрипт требовал мало ресурсов на работу Язык Python Данные должны сохраняться в JSON-файл В базу SQLite добавляться запись с URL статьи, путём к JSON-файлу и статусом "new" Примерная логика того что мне нужно: Парсер запускается по расписанию (например, каждые 30 минут) и выполняет следующую последовательность действий: Получает RSS фид с сайта. В RSS уже содержатся основные метаданные: URL статей, заголовки, даты публикации, авторы, категории. Из полученного RSS фида извлекается список всех URL статей. Этот список сравнивается с базой SQLite, где хранятся URL уже обработанных статей. Формируется список только новых URL, которые ещё не обрабатывались. Если новых URL нет, работа парсера завершается до следующего запуска по расписанию. Если новые URL найдены, начинается их последовательная обработка.

Найдено 7005 результатов

Доработки по сайту

Сайт уже работает, есть вся документация и доступы. Разработчики потерялись. Необходимо внести минимальные правки в админку сайта: 1-выгрузку корректную в эксель 2-добавить туда данные по загрузке картинки 3-корректно установить дату регистрации пользователей (она некорректная) 4. сделать опцию смены пароля в админке после правок необходимо будет минимальное регулярное сопровождение сайта https://imagenation.pro/ сайт Проект написан на Python

Доработка и настройка сайта

Опубликован:
14.01.25 08:49

Бюджет:
6000 руб.~$74.9

Восстановить работу сервере Ubuntu

Проблема - криворукий прогер что-то наделал на сервере, пытаясь установить Python 3.12, все сайты выдают 500, админ панель 502Нужно - исходя из лога команд и вашего опыта пофиксить проблемуПриступить нужно сейчас

Servers

Опубликован:
14.01.25 07:35

Бюджет:
5000 руб.~$62.42

Интеграция GTO- через Python

Необходимо интегрировать GTO- с внешним источником данных, чтобы программа автоматически передавала данные в GTO- для открытия нужных файлов и веток решений. Данные могут поступать в различных форматах (файлы, терминал и др.), и при их обновлении программа должна автоматически инициировать процесс открытия соответствующих файлов в GTO-.Ссылка на GTO-: https://github.com/bkushigian/gto-Дополнительно предоставлю 2 видео с примером реализации.

Backend

Опубликован:
13.01.25 18:26

Бюджет:
7500 руб.~$93.63

Решение практических задач на Python и C++

Необходимо решить 5 практических задач на языках программирования Python или C++. Основная цель задания: Разработка алгоритмов для решения задач. Оптимизация кода для повышения его эффективности. Демонстрация правильного подхода к решению задач, включая комментарии и пояснения. Требования к исполнителю: Опыт работы с языками Python и C++ (знание C# будет преимуществом). Умение писать чистый и читаемый код, соответствующий современным стандартам. Навыки оптимизации существующего кода и разработки алгоритмов. Что нужно выполнить: Решить предложенные задачи, обеспечив их корректность. Предоставить оптимальный, проверенный код с комментариями. (Опционально) Объяснить логику решения, если заказчик запросит пояснения. Что важно учитывать: Все задачи соответствуют образовательным или практическим целям, их выполнение не нарушает правил платформы Kwork. Решение задач должно быть уникальным и подходить под поставленные условия. Исполнитель должен гарантировать сдачу работы в оговоренные сроки.

Десктоп программирование

Опубликован:
13.01.25 18:17

Бюджет:
4000 руб.~$49.94

Разработка MVP: LLM base document search

Необходимо разработать MVP приложения по сортировке документов исходя из их релевантности запросу (из самих документов какую то информацию на данном этапе извлекать не надо). Запрос делается на естественном языке.Важно: 1. реализовать функционал до-обучения на базе обратной связи2. необходим поиск с учетом полного контекста запроса (не по ключевым словам). Но и в лоб сравнивать embedding тоже не надо3. документы длиной 20-30 тыс токенов Стек: OS: UbuntuDB: Векторная, на усмотрение разработчикаPython + torch + transformers / hugging faceFast API+ любой UI (web) для демонстрации

Backend

Опубликован:
13.01.25 17:36

Бюджет:
100000 руб.~$1248.29

Автоматизация нажатия клавиш на python в игре (DX11)

Автоматизация нажатий клавиши в игре на DX11/DX12 под Windows Задачи: Подключение к игре по имени процесса... руб

IT-технологии и Разработка

Опубликован:
13.01.25 16:19

Бюджет:
700 руб.~$8.74

Требуется доработка и интеграция

Проект включает в себя несколько компонентов: Анализ звонков: Доработка существующего Python-скрипта, использующего GPT для анализа и Plotly для визуализации. Оптимизация процесса обработки файлов с Google Drive каждые 6 часов. Структурирование хранения файлов (анализ, транскрипции, аудио) в папке Files на сервере. Настройка записи метаданных в SQL базу данных. Доработка скрипта Python для еженедельного анализа. Бот-тренер: Доработка существующего бота с добавлением функций существубщих в визуале телеграм и перенос кнопкок управления на html страницу: Добавление кнопок "Закончить диалог", "Получить статистику", "Дополнительные сценарии обучения". Интеграция с результатами файлами html формата на сервере. Личные кабинеты: Разработка взаимодействия между страницей создания пользователей и MySQL. Настройка системы аутентификации с разделением прав (админы/менеджеры). Интеграция с локальным хостингом сервера или настройка на внешнем хостинге. Дашборды: Интеграция с AmoCRM через API. Разработка динамических показателей на основе данных из AmoCRM (привязать 4 графика к амо) Реализация системы ролей с соответствующими уровнями доступа (Админ, РОП, Менеджер). Создание фильтров для просмотра данных по командам и менеджерам. Требования к кандидату: Опыт работы с Python, SQL, HTML/CSS/JavaScript. Знание работы с API (особенно AmoCRM). Опыт интеграции различных компонентов в единую систему. Навыки работы с Docker. Понимание принципов безопасности и управления доступом.

Доработка и настройка сайта

Опубликован:
13.01.25 15:30

Бюджет:
60000 руб.~$748.98

Интеграция чатов в Амо с chatgpt по API

Необходимо интегрировать готового бота на базе open AI assistant API с function calling с чатам в АмоСРМ Бот сейчас реализован в телеграм Бот умеет: -Принимать и отправлять текстовые сообщения -Принимать и обрабатывать картинки -Отправлять картинки клиенту -Вызывать внешние функции (например расчет стоимости доставки) Решение должно быть таким, чтобы мы потом могли сами установить его еще на несколько аккаунтов амо Тестового аккаунта амо нет Только рабочий, где идет живая переписка с клиентом, там тесты невозможны Уже создан канал, который нужен в амо для взаимодействия с со сторонними сервисами Есть файл с названием каналом Какой фремворк для бота и интеграций используем? >> питон + open ai Из сервиса в опен ИИ передается только сообщение и картинка. В целом, что происходит внутри вебхука не имеет значения, если формат переданного сообщения соответствует примеру. Если такой формат не возможен, нужно понять какой возможен. Бот на базе open AI assistant API с function calling. Webhook сервис на python Есть более полное ТЗ

Скрипты и боты

Опубликован:
13.01.25 14:31

Бюджет:
60000 руб.~$748.98

Разработать дизайн сайта для Тренажера на Пайтон

(Предыдущее объявление было удалено со стороны администрации) О проекте: Сайт для изучения и практики Python, который будет включать: Задачи с различными уровнями сложности. Теоретические материалы, дополняющие практику. Систему уровней и статусов, где пользователи смогут отслеживать свой прогресс. Рейтинг пользователей с наградами и достижениями. Проект вдохновлен платформами вроде LeetCode, Stepik и Codewars, но с уникальной системой мотивации и прогресса. Что нужно сделать: Разработать удобный, интуитивно понятный и адаптивный дизайн сайта. Создать макеты следующих страниц: Главная страница (шапка, задачи, теория, рейтинг). Страница с каталогом задач. Страница задачи с редактором кода. Страница теории (с прогресс-баром и темами). Личный кабинет (прогресс, достижения, история). Рейтинг пользователей. Продумать общий стиль сайта. Навыки, которые должен иметь кандидат: UI/UX-дизайн: опыт проектирования удобных и эстетичных интерфейсов. Прототипирование: умение работать с Figma, Adobe XD или аналогами. Работа с сеткой: проектирование адаптивных макетов для разных устройств (десктоп, планшет, мобильный). Дизайн пользовательских путей (User Flow): умение проектировать логику взаимодействия пользователя с интерфейсом. Типографика: грамотный подбор шрифтов, отступов, размеров текста. Цветовая палитра и стили: опыт работы с минималистичными и яркими цветовыми схемами. Навыки презентации: способность аргументировать свои решения и презентовать макеты. Работа с обратной связью: готовность корректировать дизайн на основе предложений команды. Креативность и внимание к деталям: умение находить оригинальные решения и прорабатывать мелочи. Есть главная страница предыдущего дизайнера (расстался с нами по определенным причинам), его надо доработать/продолжить. Полное тз появляется от страницы к странице, учтите. По срокам требуется ежедневный отчет (явные изменения, доработки, улучшения) (выходной день по вашему желанию).

Sites

Опубликован:
13.01.25 13:33

Бюджет:
2000 руб.~$24.97

Значительная доработка программы. Python

Нужно сделать значительный апгрейд программы. Работа с открытым API. Работа с локалхост. Имеется работающая программа. Узконаправленная тематика. Пишите, отвечу всем.

Десктоп программирование

Опубликован:
13.01.25 12:56

Бюджет:
20000 руб.~$249.66

Загрузка контента третьих сайтов на основе Caddyserver

Нужно разработать серверную систему загрузки контента третьих сайтов на основе reverse proxy и модификации контента в реальном времени. - Когда юзер заходит на домен, сервер не хостит контент, а динамически подгружает и показывает контент с другого указанного админом сайта. - Админ указывает в конфиге текст, который должен быть спарсен и изменен или заблокирован в реальном времени, незаметно для юзера. В конфиге указывается какие страницы сайта должны быть полностью заблокированы и/или правила замены текста. - Подгружаемый контент незаметно модифицируется согласно правилам и шаблонам и показывается юзеру. - При изменении конфиг файлов, правила отображение сайта обновляются в реальном времени. - В зависимости от правил третьих сайтов и сложности задач по парсингу, разработчик продолжает поддержку продукта и предоставляет услугу создания конфигов под отдельный сайт. В любом случае, понадобится понятный формат конфиг файлов и мануал. Возможные варианты реализации: - рекомендуемый: Caddyserver c плагинами, Docker. Другие варианты реализации: - NGINX Reverse Proxy, HTTP Proxies. - Проксификаторы, DOM парсеры и модификаторы: Python (BeautifulSoup), Node.js (http-proxy-middleware, Cheerio), Lua (nginx, OpenResty), Golang (httputil.ReverseProxy, goquery). - YAML для конфиг файлов. Отслеживание изменений конфиг файлов: Python (watchdog), Node.js (chokidar). - Возможны клауд решения - Cloudflare Workers.

Сервера и хостинг

Опубликован:
13.01.25 11:52

Бюджет:
80000 руб.~$998.63

Backend PHP-разработка (Symfony)

Мы, команда Gostassistent, создаем платформу для эффективной работы с нормативно-правовыми актами и государственными стандартами. Сейчас в команду мы ищем сильного PHP-разработчика с хорошим коммерческим опытом на Symfony на постоянную работу (совмещение с другими проектами не допускается). Наш бэкенд стек: - PHP8, Symfony Framework, Redis, PostgreSQL. Задачи: - Поддержание имеющегося кода высоконагруженного приложения, рефакторинг; - Разработка новых модулей; - Написание тестов; Требования: - Обязателен опыт работы с фреймворком Symfony 6; - Знание SQL, REST API, git; - Понимание принципов работы Docker; - Умение работать в терминале Linux; - Готовность работать с чужим кодом; Плюсом является наличие базовых знаний Python (есть микросервисы написанные на нем).

Доработка и настройка сайта

Опубликован:
13.01.25 11:46

Бюджет:
60000 руб.~$748.98

Разработка чат-бота на Python

Нужен специалист который знает что такое VPN и ключи шифрования Задача: собрать чат-бот, который будет выдавать ключи,... руб

IT-технологии и Разработка

Опубликован:
13.01.25 11:03

Бюджет:
10000 руб.~$124.83

Выгрузить логи программы (Python, API маркетплейсов)

Дано: На сервере есть программа на Python'e, запускается по расписанию. Она работает с Wildberries, OZON и ЯМ по API. Собирает ежедневные заказы и пересылает файлы на почту склада. В данный момент два блока программы (WB и OZON) в разное время вышли из строя. Причины мне не известны, есть несколько версий. Задача первой необходимости: Зайти на сервер, выгрузить логи программы за 13 января 2025 г - отдельно Wildberries, отдельно OZON, чтобы я их отправила в техподдержки маркетплейсов, они подскажут, что починить. Это всё, что требуется в рамках данного кворка. Далее за отдельную плату по согласованию надо будет починить программу. Возможно обновить токены API, возможно что-то поправить в коде на основе рекомендаций техподдержки. Далее есть еще несколько задач: - перенастроить расписание этой программы - есть ещё автоматизированные google-таблицы, там тоже нужны правки - текущее обслуживание (обновление API-токенов), правка кода при изменении алгоритмов на стороне площадок и т.д. Кого ищу: 1. Вы на связи, не пропадаете неделями. 2. Вы хорошо владеете Python'ом. 3. Понимание API маркетплейсов не обязательно. Хорошо, если есть опыт работы с автоматизированными google-таблицами. Пожалуйста в ответе напишите, что из этого знаете, умеете. 4. Какая минимальная стоимость вашей работы? Допустим, нужно поменять строку кода на основе ответа техподдержки или обновить API-токен. С моей стороны - помощь в поиске методов в документации API, работа с техподдержкой, создание токенов и т.д.

Десктоп программирование

Опубликован:
13.01.25 09:14

Бюджет:
1000 руб.~$12.49

Нужен консультант в области эконометрики/статистики

Мне нужно понять как выполнить весь процесс исследования/анализа, поэтому нужна консультация специалиста. Не важно на каком иструменте/ПО. Главное проконсульитровать/обьяснить что как делать Задачи и ожидания: 1. Изучение данных и кодбука: Определение пропущенных значений. Анализ измерений переменных. 2. Проведение одномерного, двумерного и многомерного анализа, включая OLS и/или логит-модели. 3. Создание региональных групп для анализа (например: Западные страны, США и Канада, Субсахарская Африка, Ближний Восток и т.д.). 4. Учет независимых и контрольных переменных: Пол, уровень образования, религиозность, восприятие роли женщины в браке и др. 5. Преобразование переменных: Логарифмическое преобразование для устранения смещений. Сокращение категорий в переменных, например, уровня образования. Что важно: Глубокое знание анализа данных и статистических моделей. Опыт работы с большим набором данных. Владение инструментами: Python, R, Stata или другие статистические программы. Умение визуализировать результаты исследования. База данных у меня в формате dta. Жду ваших предложений

Обучение и консалтинг

Опубликован:
13.01.25 08:55

Бюджет:
6000 руб.~$74.9

Помощь в удаленном решении 5 олимпиадных задач

Решения задач: Каждая задача должна быть решена корректно. Код должен быть оптимизированным и соответствовать требованиям по времени и памяти. Решения должны учитывать все ограничения, указанные в условиях задач. Технические требования: Использование языка C++ или Python. Стандартный ввод (cin) и вывод (cout). Без использования внешних библиотек, кроме стандартных библиотек языка C++. Код должен быть понятным и хорошо структурированным. Результаты: Каждый код должен успешно проходить все тесты на платформе (100% в системе). Обеспечить поддержку для корректного запуска кода на локальной машине. На языке Python или C++, решение должно пройти все тесты в системе на 100%. Нельзя использовать ИИ.

Десктоп программирование

Опубликован:
13.01.25 08:51

Бюджет:
4000 руб.~$49.94

Искусственный интеллект. ЦЕНУ устанавливаете сами

Мне нужен ИИ. Мне не надо, чтобы вы его с нуля сделали, главное, чтобы работал и не нарушал авторские права. Этот ИИ должен уметь видеть, что происходит на экране, читать с него, определять конкретные объекты, двигать курсором по осям Х и У. Нажимать на ПКМ, на ЛКМ, на колёсико мышки, крутить колёсиком мышки, нажимать на каждую кнопку клавиатуры (кроме ВКЛ и ВЫКЛ) и должен быть какой-то способ общаться с ним (т.е. делать всё, что может сделать обычный пользователь). Также он должен уметь распределять информацию по "папкам" когда я ему это скажу. (Например: Я ему говорю: "Сохраняй следующую информацию в новую папку Python", и ИИ создаёт "папку" под названием "Python" (В своём пространстве) и туда сохраняет информацию, которую я подам. Или я скажу: "удали папку Python", и он удалит эту "папку" и всё что я говорил туда сохранить. ИИ должен быть полностью обучаемым и если он сможет спокойно играть, например в майнкрафт (строить здания по готовому чертежу, собирать и высаживать обратно уражай, стоять на ферме мобов (ну там просто надо на одну кнопку нажимать и всё)), то он мне подходит.

Десктоп программирование

Опубликован:
13.01.25 08:05

Бюджет:
60000 руб.~$748.98

Требуется дизайнер для разработки дизайна сайта Тренажера на Python

О проекте: Сайт для изучения и практики Python, который будет включать: Задачи с различными уровнями сложности. Теоретические материалы, дополняющие практику. Систему уровней и статусов, где пользователи смогут отслеживать свой прогресс. Рейтинг пользователей с наградами и достижениями. Проект вдохновлен платформами вроде LeetCode, Stepik и Codewars, но с уникальной системой мотивации и прогресса. Что нужно сделать: Разработать удобный, интуитивно понятный и адаптивный дизайн сайта. Создать макеты следующих страниц: Главная страница (шапка, задачи, теория, рейтинг). Страница с каталогом задач. Страница задачи с редактором кода. Страница теории (с прогресс-баром и темами). Личный кабинет (прогресс, достижения, история). Рейтинг пользователей. Навыки, которые должен иметь кандидат: UI/UX-дизайн: опыт проектирования удобных и эстетичных интерфейсов. Прототипирование: умение работать с Figma, Adobe XD или аналогами. Работа с сеткой: проектирование адаптивных макетов для разных устройств (десктоп, планшет, мобильный). Дизайн пользовательских путей (User Flow): умение проектировать логику взаимодействия пользователя с интерфейсом. Типографика: грамотный подбор шрифтов, отступов, размеров текста. Цветовая палитра и стили: опыт работы с минималистичными и яркими цветовыми Работа с обратной связью: готовность корректировать дизайн на основе предложений команды. Креативность и внимание к деталям: умение находить оригинальные решения и прорабатывать мелочи. Есть главная страница которую нужно продолжить (предыдущий дизайнер по определенным причинам с нами расстался). Учтите что, полного тз у нас нет, тз появляется от страницы к странице

Sites

Опубликован:
13.01.25 07:32

Бюджет:
2000 руб.~$24.97

Устранение неполадки Телеграм бота

Бот написан на Python, 3800+ строчек кода. Требуется исправление неполадки. Нужен опытный специалист. Ищу ответственного партнёра на постоянное сотрудничество в команду. Оплату труда готов обсудить лично. Оставляйте заявку и я свяжусь с Вами.

Юзабилити, тесты и помощь

Опубликован:
13.01.25 07:08

Бюджет:
10000 руб.~$124.83

Нужна консультация по работе с API

Нужна консультация по использованию вебсайта для отправки API запросов.Требования: опыт работы с отправкой HTTP запросов с вебстраниц из JavaScript или server-server коммуникаций с использованием python, nodejs, java, c#, etc.Требования:Наличие рабочего микрофона, широкополосного быстрого интернета и Zoom.Продолжительность 30-60мин.

Backend

Опубликован:
13.01.25 06:41

Бюджет:
1000 руб.~$12.49