Написать парсер для Facebook, Instagram, TikTok и Twitter

Bots 11.10.24 10:43

Бюджет: 50000 руб.

Создать сервис для парсинга постов из Facebook, Instagram, Tik-Tok и Twitter, который будет собирать посты из публичных групп и профилей (по 10,000 аккаунтов или групп в каждой соцсети). Парсер должен поддерживать текст, изображения и комментарии.Важно, чтобы он справлялся с ограничениями API, обрабатывал ошибки, чтобы система не банила парсер при большом количестве запросов, т.е нужна ротация прокси, обход капчи и другие способы обхода блокировки, также чтобы поддерживал фильтры для поиска по ключевым словам, временным рамкам и другим параметрам. Данные должны обновляться в реальном времени или с минимальной задержкой. Сервис должен собирать и сохранять следующую информацию: Текст поста Количество лайков Количество комментариев Количество репостов Количество просмотров (обход каждые 3 часа до сутки) Дата публикации поста Ссылка на пост Название группы, в которой опубликован пост Ссылка на группу, в которой опубликован пост Имя и фамилия автора поста Ссылка на автора поста Тип автора(Personal profile, Mass media account, community) Пол автора (если доступно) Возраст автора (если доступно) Аудитория профиля или группы, в которой опубликован пост Country, Region, City, Place, Address (если доступно) Использовать python3, arsenic, selenium. Данные сохранять в базу данных (mongodb и elasticsearch). Задачу принимаем в Github репозитории. Надо также развернуть сервис в виртуальной машине Ubuntu.

Найдено 6362 результата

Спарсить данные в ексель

https://public.tableau.com/app/profile/imss.cpe/viz/ProgramadeincorporacindePersonasTrabajadorasdelHogar/PTH Требуется добыть табличные данные с этого сайта и предоставить рабочий скрипт на python. Пожалуйста откликайтесь только если уже перешли на этот сайт и можете выполнить эту работу

Скрипты и боты

Опубликован:
25.10.24 05:14

Бюджет:
2000 руб.~$24.97

Добавить в скрипт, запрос к GPT через endpoint ссылку

Сейчас запросы к GPT не напрямую через endpoint ссылку, а через библиотеку. Нужно исправить, что бы я мог указывать свою ссылку для подключения. Скрипт на Python. Чат бот

Скрипты и боты

Опубликован:
25.10.24 03:55

Бюджет:
1000 руб.~$12.49

Правка скрипт бота на Python

Есть скрипт бота, который работает с панелью 3X-UI, в последних версиях панель поменяла api и теперь скрипт не работает (не подключается к панели, пишет что нет доступа). Нужно адаптировать под новую версию панели.

Скрипты и боты

Опубликован:
25.10.24 03:26

Бюджет:
1000 руб.~$12.49

Валидация онлайн-казино на python

Суть проблемы. Есть документация, есть маршрут, куда провайдер стучится и смотрит за нашими реакциями, насколько они соответствуют этой документации. Вроде все кристально понятно, но в логах черт ногу сломит. Нужно взаимодействовать с самим провайдером, как-то у него выяснить, что от нас нужно. Вроде обычные маршруты ставка выигрыш запрос баланса. Но часто непонятно, что от нас хотят. Запрос на нулевый выигрыш? Как мы должны отреагировать. В документации одно, на деле другое. Откликайтесь, кто готов к таким трудностям, и что возможно время зря потеряете. В случае победы денежный приз 10 тыс. Возможно управитесь за пару часов, а может, несколько дней зря потратитеhttps://t.me/volodzya13

Backend

Опубликован:
24.10.24 18:11

Бюджет:
10000 руб.~$124.83

Простой аналог логики Ngrok на Python

У меня есть сервер на Windows (порты открыты), есть ПК (порты закрыты). На ПК у меня запускается сайт (на localhost на порт 5000). Нужно чтобы я мог пользоваться им через IP сервера на порту 8000. То есть насколько я понимаю, должен быть запущен файл на ПК, другой файл на сервере и был некий туннель. Для тестов вы можете запустить простую страницу на Flask на порт 5000. Повторюсь, что на ПК порты закрыты и с сервера не сделать прямой запрос, нужна другая логика. То есть по аналогии с Ngrok - указываешь локалхост + порт (на котором сайт) в консольном приложении, и сразу пробрасывается тунель и выдаётся публичная ссылка. В данном случае порт 5000, а ссылка это IP сервера. Важно, чтобы все функции сайта работали: не просто чтобы загружаласть html-страница, а работали и все запросы и остальное, то есть просто рабочий, в точности такой же сайт, как на localhost на ПК. Особо ничего выдумывать не надо, не нужен httpS, не нужна многопоточность. Просто важна сама логика - самая простая версия. Думаю это делается за пару часов, на выходе будут 2 файла >100 строк кода, просто нужен опыт, поэтому такая низкая цена. Но, зато, готов оставить объёмнейший отзыв по окончанию работы)

Скрипты и боты

Опубликован:
24.10.24 17:20

Бюджет:
6000 руб.~$74.9

Создание бектестера

Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил архив с ТЗ и всей сопутствующей документацией. Стартовая точка - файл "tz-clean". Бюджет 15000р, но обсуждаем. Пишите, пожалуйста, свои расценки и сроки.. https://disk.yandex.ru/d/G9bGXyvPfA8MSg

Юзабилити, тесты и помощь

Опубликован:
24.10.24 15:41

Бюджет:
40000 руб.~$499.32

Провести интеграцию провайдера Pragmatic play

Провести интеграцию провайдера Pragmatic play. Язык программирования Python. Откликаться только если есть реальный опыт интеграции провайдера

Backend

Опубликован:
24.10.24 15:37

Бюджет:
20000 руб.~$249.66

Создать бектестер

Я ищу программиста для проекта средней сложности на Python - бэктестер для аналитики данных по акциям (алготрейдинг). Прикрепил... руб

Программирование и IT

Опубликован:
24.10.24 15:31

Бюджет:
15000 руб.~$187.25

NLP Model HW

В этом домашнем задании вы будете работать с корпусом Harry Potter and the Action Prediction Challenge. Корпус собран из фанфиков о Гарри Поттере и состоит из двух частей: 1) сырые тексты, 2) фрагменты текстов, описывающих ситуацию, в которой произнесено заклинание.Корпус описан в статье: https://arxiv.org/pdf/1905.11037.pdfDavid Vilares and Carlos Gómez-Rodríguez. Harry Potter and the Action Prediction Challenge from Natural Language. 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics. To appear.Код для сбора корпуса находится в репозитории: https://github.com/aghie/hpac . Корпус можно скачать по инструкции из этого репозитория, но для экономии времени авторы задания уже скачали и подготовили данные к работе.Ссылки на собранный корпус:Сырые тексты: Токенизированные тексты в нижнем регистре: train-test-dev: Части 1, 2 задания должны быть выполнены на полных текстах (сырых или предобработанных -- на ваше усмотрение), Часть 3 – на разбиение на тестовое, отладочное и обучающее множества. Тестовое множество должно быть использовано исключительно для тестирования моделей, обучающее и отладочное – для выбора модели и параметров.В статье и репозитории вы найдете идеи, которые помогут вам выполнить домашнее задание. Их стоит воспринимать как руководство к действию, и не стоит их копировать и переиспользовать. Обученные модели использовать не нужно, код для их обучения можно использовать как подсказку. ПРАВИЛА Домашнее задание выполняется индивидуально.Домашнее задание сдается в системе Anytask, куда можно попасть через инвайт.Домашнее задание оформляется в отчета в ipython-тетрадке.Отчет должен содержать: нумерацию заданий и пунктов, которые вы выполнили, код решения, и понятное пошаговое описание того, что вы сделали. Отчет должен быть написан в академическом стиле, без излишнего использования сленга и с соблюдением норм русского языка.Не стоит копировать фрагменты лекций, статей и Википедии в ваш отчет.Плагиат и любое недобросоветсное цитирование приводит к обнуление оценки. Часть 1. [1 балл] Эксплоративный анализ Найдите топ-1000 слов по частоте без учета стоп-слов.Найдите топ-10 по частоте: имен, пар имя + фамилия, пар вида ''профессор'' + имя / фамилия.[бонус] Постройте тематическую модель по корпусу HPAC.[бонус] Найдите еще что-то интересное в корпусе (что-то специфичное для фанфиков или фентези-тематики) Часть 2. [2 балла] Модели представления слов Обучите модель представления слов (word2vec, GloVe, fastText или любую другую) на материале корпуса HPAC.Продемонстрируйте, как работает поиск синонимов, ассоциаций, лишних слов в обученной модели.Визуализируйте топ-1000 слов по частоте без учета стоп-слов (п. 1.1) с помощью TSNE или UMAP (https://umap-learn.readthedocs.io). Часть 3. [6.5 баллов] Классификация текстов Задача классификации формулируется так: данный фрагмент фанфика описывают какую-то ситуацию, которая предшествует произнесению заклинания. Требуется по тексту предсказать, какое именно заклинание будет произнесено. Таким образом, заклинание - это фактически метка класса. Основная мера качества – macro 1. Обучите несколько классификаторов и сравните их между собой. Оцените качество классификаторов на частых и редких классах. Какие классы чаще всего оказываются перепутаны? Связаны ли ошибки со смыслом заклинаний?Используйте фрагменты из множества train для обучения, из множества dev для отладки, из множества test – для тестирования и получения итоговых результатов.[1 балл] Используйте fastText в качестве baseline-классификатора.[2 балла] Используйте сверточные сети в качестве более продвинутого классификатора. Поэкспериментируйте с количеством и размерностью фильтров, используйте разные размеры окон, попробуйте использовать -max pooling.[2 балла] Используйте рекуррентные сети в качестве альтернативного продвинутого классификатора. Поэкспериментируйте с количеством и размерностью слоев и другими гиперпараметрами.[1.5 балла] Попробуйте расширить обучающее множество за счет аугментации данных. Если вам понадобится словарь синонимов, можно использовать WordNet (ниже вы найдете примеры).[бонус] Используйте результат max pooling'а как эмбеддинг входного текста. Визуализируйте эмбеддинги 500-1000 предложений из обучающего множества и изучите свойства получившегося пространства.[бонус] Используйте ваш любимый классификатор и любые (честные) способы повышения качества классификации и получите macro 1 больше 0.5. Часть 4. [0.5 балла] Итоги Напишите краткое резюме проделанной работы. Читали ли вы сами Гарри Поттера или фанфики о нем и помогло ли вам знание предметной области в выполнении домашнего задания? Бонусная часть. [2 балла] Skip-Gram Negative Sampling Самостоятельно реализовать и обучить модель Skip-Gram Negative Sampling. Продемонстрировать качество полученных представлений на конкретный примерах.

Other

Опубликован:
24.10.24 13:10

Бюджет:
5000 руб.~$62.42

Разработка высоконагруженной CRUD-системы на python

Имеется CRUD-система с ИИ-модулем обработки данных, которая автоматизирует документооборот предприятия в несколько шагов - делает OCR файлов, работает с разными БД и, выполняет векторный поиск по каталогу, и в конце отправляет результаты в клиентское приложение.Несколько шагов в цепочке медленные, а нагрузка высокая, поэтому с оркестрацией всего приложения есть много проблем.Стэк: python, asyncio БД: postgres, pgvector ИИ часть писал я, а асинхронную обвязку написал разработчик, который вышел из проекта. Ищу ему на замену опытного бэкэндера чтобы подхватить проект и вместе развивать его дальше, поскольку клиент доволен и будет продолжение.Текущая задачи: - оптимизация ботлнеков асинхронной архитектуры приложения с целью оптимизировать время обработки файлов Дальше много всего интересного, поскольку готовим второй этап интеграции к заказчику. Исполнителей выбираю по опыту на релевантных проектах и рейтингу на хабр-фриланс.Чтобы сэкономить время, в комментариях напишите пару слов про асинхронные системы которые вы делали самостоятельно, оставляейте контакты и вашу ставку оплаты.

Backend

Опубликован:
24.10.24 13:03

Бюджет:
50000 руб.~$624.15

Реф кода, доработка парсеров python, FLASK

Доброго дня, есть парсеры, работают. Но хочется добавить веб интерфейс в в приоритете Flask, FastAPI полагаем что это нужно будет реализовывать через Celery, Redis. Используемые в веб скрапирах библиотеки: BS4, Selenium, paramiko, pygsheets, multiprocessing и прокси сервера - В общем скрипты работают с гугл таблицей (забирают данные), собирают на локалке картинки, таблици ипрочь... упаковывают в csv, zip - заливают на сервер и запускают импорт. сам парсинг что то requests, что то selenium. - У разработчика нашей команды "не доходят руки" доделать, а надо). Разработчик на связи, готов всё рассказать. В общем хотелось бы: 1) Микро админ панель - запуск, парсера, прогрес выполнения, чем завершился прошлый запуск (были ли ошибки). 2) добавить интерактива в телеграмм (получения отчета (статуса), вне очередной запуск. Разработчик на связи - расскажет покажет. Сам код и покажем потенциальным исполнителям. Соответственно (естественно) тогда и будет окончательная стоимость. - Пожалуйста укажите ваш прогноз по цене и срокам. Цена важна. Но и желания найти самого дешевого неумеху - нет.

Скрипты и боты

Опубликован:
24.10.24 11:53

Бюджет:
30000 руб.~$374.49

Рефакторинг кода python

Необходимо проверить и исправить код при наличие ошибок. Общий объём около 250 строк. Дополнительно приветствуется подробное комментирование

Скрипты и боты

Опубликован:
24.10.24 09:30

Бюджет:
10000 руб.~$124.83

Поставить скрипт python на сервер

Требуется установить скрипт на сервер python . Требуется установить скрипт на сервер python .Требуется установить скрипт на сервер python .

Скрипты и боты

Опубликован:
24.10.24 03:15

Бюджет:
3000 руб.~$37.45

Надо запустить тг-бот на виндовс сервере

Есть архив с тг ботом, надо задеплоить на виндовс сервер срочно и запустить. Язык Python Жду откликов

Скрипты и боты

Опубликован:
24.10.24 00:03

Бюджет:
2000 руб.~$24.97

Опытный бэкенд разработчик для развития асинхронной CRUD-системы

Backend

Опубликован:
23.10.24 23:29

Бюджет:
50000 руб.~$624.15

Написать python сервер для телефонии

Необходимо написать python скрипт для интеграции телефонии novofon и сервиса vapi Схема готовой работы: 1. Python скрипт разворачиваем на vps 2. Скрипт подключается к novofon + vapi и ожидает соединения 3. Я могу звонить из novofon в vapi и обратно Доступы и vps предоставлю. API Документация: https://novofon.com/instructions/api/#block_intro https://docs.vapi.ai/introduction

Скрипты и боты

Опубликован:
23.10.24 21:38

Бюджет:
15000 руб.~$187.25

Отладить Discord-бота. Переписать некоторые модули

У меня есть дискорд-бот для менеджмента игрового сервера, установленного на Ubuntu. Чистый Python Большая часть модулей лёгкая и не требует внимательного рассмотрения. Но есть два-три проблемных модуля, логику которых необходимо проверить и, по необходимости, исправить или переписать. Помимо того, необходимо дать советы по улучшению бота, так как у меня недостаточно навыков в этом и большая часть кода пишется на костылях [:1f642] Всю подноготную объясню в ЛС

Скрипты и боты

Опубликован:
23.10.24 19:51

Бюджет:
2000 руб.~$24.97

Доработать парсер телеграм сообщений python (Telethon)

Работа на 10 мин кто знает) Доработать уже готовый скрипт, устранив ошибки и баги(см. прикрепленный файл) или сделать переписав заново структуру. Имеется рабочий Модератор чатов телеграм, который ищет сообщения по ключевым фразам и пересылает в канал. Нужно доработать немного и устранить баги Бюджет небольшой, если есть готовые варианты предлагайте, точное ТЗ , если заново делать, есть у меня!!Четкое ТЗ пришлю в ЛС!!! Писать только тем, кто действительно сможет сделать — не умеете, не тратьте время!

Скрипты и боты

Опубликован:
23.10.24 19:37

Бюджет:
500 руб.~$6.25

Модифицировать парсер-бот для изменения сообщений

Есть бот, который парсит новые сообщения. Нужно модифицировать его, так чтобы он смог парсить изменения сообщений. (Это должно выглядеть как доп. функционал) Также важно сохранить модульность проекта. Технологии: Python aiogram3 telethon PostgreSQL

Скрипты и боты

Опубликован:
23.10.24 19:33

Бюджет:
20000 руб.~$249.66

Разработать программу распознавания рукописного текста на Python

Нужна программа по распознаванию рукописного текста для ЗАДАЧ ИДЕНТИФИКАЦИИ И АУТЕНТИФИКАЦИИ с помощью нейронной сети. Проект разрабатывается в рамках дипломной работы

Other

Опубликован:
23.10.24 19:03

Бюджет:
8000 руб.~$99.87