В этом домашнем задании вы будете работать с корпусом Harry Potter and the Action Prediction Challenge. Корпус собран из фанфиков о Гарри Поттере и состоит из двух частей: 1) сырые тексты, 2) фрагменты текстов, описывающих ситуацию, в которой произнесено заклинание.Корпус описан в статье: https://arxiv.org/pdf/1905.11037.pdfDavid Vilares and Carlos Gómez-Rodríguez. Harry Potter and the Action Prediction Challenge from Natural Language. 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics. To appear.Код для сбора корпуса находится в репозитории: https://github.com/aghie/hpac . Корпус можно скачать по инструкции из этого репозитория, но для экономии времени авторы задания уже скачали и подготовили данные к работе.Ссылки на собранный корпус:Сырые тексты: Токенизированные тексты в нижнем регистре: train-test-dev: Части 1, 2 задания должны быть выполнены на полных текстах (сырых или предобработанных -- на ваше усмотрение), Часть 3 – на разбиение на тестовое, отладочное и обучающее множества. Тестовое множество должно быть использовано исключительно для тестирования моделей, обучающее и отладочное – для выбора модели и параметров.В статье и репозитории вы найдете идеи, которые помогут вам выполнить домашнее задание. Их стоит воспринимать как руководство к действию, и не стоит их копировать и переиспользовать. Обученные модели использовать не нужно, код для их обучения можно использовать как подсказку. ПРАВИЛА Домашнее задание выполняется индивидуально.Домашнее задание сдается в системе Anytask, куда можно попасть через инвайт.Домашнее задание оформляется в отчета в ipython-тетрадке.Отчет должен содержать: нумерацию заданий и пунктов, которые вы выполнили, код решения, и понятное пошаговое описание того, что вы сделали. Отчет должен быть написан в академическом стиле, без излишнего использования сленга и с соблюдением норм русского языка.Не стоит копировать фрагменты лекций, статей и Википедии в ваш отчет.Плагиат и любое недобросоветсное цитирование приводит к обнуление оценки. Часть 1. [1 балл] Эксплоративный анализ Найдите топ-1000 слов по частоте без учета стоп-слов.Найдите топ-10 по частоте: имен, пар имя + фамилия, пар вида ''профессор'' + имя / фамилия.[бонус] Постройте тематическую модель по корпусу HPAC.[бонус] Найдите еще что-то интересное в корпусе (что-то специфичное для фанфиков или фентези-тематики) Часть 2. [2 балла] Модели представления слов Обучите модель представления слов (word2vec, GloVe, fastText или любую другую) на материале корпуса HPAC.Продемонстрируйте, как работает поиск синонимов, ассоциаций, лишних слов в обученной модели.Визуализируйте топ-1000 слов по частоте без учета стоп-слов (п. 1.1) с помощью TSNE или UMAP (https://umap-learn.readthedocs.io). Часть 3. [6.5 баллов] Классификация текстов Задача классификации формулируется так: данный фрагмент фанфика описывают какую-то ситуацию, которая предшествует произнесению заклинания. Требуется по тексту предсказать, какое именно заклинание будет произнесено. Таким образом, заклинание - это фактически метка класса. Основная мера качества – macro 1. Обучите несколько классификаторов и сравните их между собой. Оцените качество классификаторов на частых и редких классах. Какие классы чаще всего оказываются перепутаны? Связаны ли ошибки со смыслом заклинаний?Используйте фрагменты из множества train для обучения, из множества dev для отладки, из множества test – для тестирования и получения итоговых результатов.[1 балл] Используйте fastText в качестве baseline-классификатора.[2 балла] Используйте сверточные сети в качестве более продвинутого классификатора. Поэкспериментируйте с количеством и размерностью фильтров, используйте разные размеры окон, попробуйте использовать -max pooling.[2 балла] Используйте рекуррентные сети в качестве альтернативного продвинутого классификатора. Поэкспериментируйте с количеством и размерностью слоев и другими гиперпараметрами.[1.5 балла] Попробуйте расширить обучающее множество за счет аугментации данных. Если вам понадобится словарь синонимов, можно использовать WordNet (ниже вы найдете примеры).[бонус] Используйте результат max pooling'а как эмбеддинг входного текста. Визуализируйте эмбеддинги 500-1000 предложений из обучающего множества и изучите свойства получившегося пространства.[бонус] Используйте ваш любимый классификатор и любые (честные) способы повышения качества классификации и получите macro 1 больше 0.5. Часть 4. [0.5 балла] Итоги Напишите краткое резюме проделанной работы. Читали ли вы сами Гарри Поттера или фанфики о нем и помогло ли вам знание предметной области в выполнении домашнего задания? Бонусная часть. [2 балла] Skip-Gram Negative Sampling Самостоятельно реализовать и обучить модель Skip-Gram Negative Sampling. Продемонстрировать качество полученных представлений на конкретный примерах.
Имеется CRUD-система с ИИ-модулем обработки данных, которая автоматизирует документооборот предприятия в несколько шагов - делает OCR файлов, работает с разными БД и, выполняет векторный поиск по каталогу, и в конце отправляет результаты в клиентское приложение.Несколько шагов в цепочке медленные, а нагрузка высокая, поэтому с оркестрацией всего приложения есть много проблем.Стэк: python, asyncio БД: postgres, pgvector ИИ часть писал я, а асинхронную обвязку написал разработчик, который вышел из проекта. Ищу ему на замену опытного бэкэндера чтобы подхватить проект и вместе развивать его дальше, поскольку клиент доволен и будет продолжение.Текущая задачи: - оптимизация ботлнеков асинхронной архитектуры приложения с целью оптимизировать время обработки файлов Дальше много всего интересного, поскольку готовим второй этап интеграции к заказчику. Исполнителей выбираю по опыту на релевантных проектах и рейтингу на хабр-фриланс.Чтобы сэкономить время, в комментариях напишите пару слов про асинхронные системы которые вы делали самостоятельно, оставляейте контакты и вашу ставку оплаты.
Доброго дня, есть парсеры, работают. Но хочется добавить веб интерфейс в в приоритете Flask, FastAPI полагаем что это нужно будет реализовывать через Celery, Redis. Используемые в веб скрапирах библиотеки: BS4, Selenium, paramiko, pygsheets, multiprocessing и прокси сервера - В общем скрипты работают с гугл таблицей (забирают данные), собирают на локалке картинки, таблици ипрочь... упаковывают в csv, zip - заливают на сервер и запускают импорт. сам парсинг что то requests, что то selenium. - У разработчика нашей команды "не доходят руки" доделать, а надо). Разработчик на связи, готов всё рассказать. В общем хотелось бы: 1) Микро админ панель - запуск, парсера, прогрес выполнения, чем завершился прошлый запуск (были ли ошибки). 2) добавить интерактива в телеграмм (получения отчета (статуса), вне очередной запуск. Разработчик на связи - расскажет покажет. Сам код и покажем потенциальным исполнителям. Соответственно (естественно) тогда и будет окончательная стоимость. - Пожалуйста укажите ваш прогноз по цене и срокам. Цена важна. Но и желания найти самого дешевого неумеху - нет.
Имеется CRUD-система с ИИ-модулем обработки данных, которая автоматизирует документооборот предприятия в несколько шагов - делает OCR файлов, работает с разными БД и, выполняет векторный поиск по каталогу, и в конце отправляет результаты в клиентское приложение.Все написано на python, ИИ часть писал я, а асинхронную обвязку написал разработчик, который вышел из проекта. Ищу себе в пару опытного бэкэндера чтобы подхватить проект и вместе развивать его дальше, поскольку клиент доволен и будет продолжение.Исполнителей выбираю по опыту на релевантных проектах и рейтингу на хабр-фриланс.Чтобы сэкономить время, в комментариях напишите пару слов про асинхронные системы которые вы делали самостоятельно, оставляейте контакты и вашу ставку оплаты.
Необходимо написать python скрипт для интеграции телефонии novofon и сервиса vapi Схема готовой работы: 1. Python скрипт разворачиваем на vps 2. Скрипт подключается к novofon + vapi и ожидает соединения 3. Я могу звонить из novofon в vapi и обратно Доступы и vps предоставлю. API Документация: https://novofon.com/instructions/api/#block_intro https://docs.vapi.ai/introduction
У меня есть дискорд-бот для менеджмента игрового сервера, установленного на Ubuntu. Чистый Python Большая часть модулей лёгкая и не требует внимательного рассмотрения. Но есть два-три проблемных модуля, логику которых необходимо проверить и, по необходимости, исправить или переписать. Помимо того, необходимо дать советы по улучшению бота, так как у меня недостаточно навыков в этом и большая часть кода пишется на костылях [:1f642] Всю подноготную объясню в ЛС
Работа на 10 мин кто знает) Доработать уже готовый скрипт, устранив ошибки и баги(см. прикрепленный файл) или сделать переписав заново структуру. Имеется рабочий Модератор чатов телеграм, который ищет сообщения по ключевым фразам и пересылает в канал. Нужно доработать немного и устранить баги Бюджет небольшой, если есть готовые варианты предлагайте, точное ТЗ , если заново делать, есть у меня!!Четкое ТЗ пришлю в ЛС!!! Писать только тем, кто действительно сможет сделать — не умеете, не тратьте время!
Есть бот, который парсит новые сообщения. Нужно модифицировать его, так чтобы он смог парсить изменения сообщений. (Это должно выглядеть как доп. функционал) Также важно сохранить модульность проекта. Технологии: Python aiogram3 telethon PostgreSQL
Требуются активные программисты, которые сразу готовы взять заказ и всегда на связи. Все просто, я предоставляю заказ, вы в случае успеха скидываете мне 20 процентов с заказа. Бюджет на заказ в среднем 3к. Уровень знания языков не менее middle Python, c#, c++ и другие. Ключевое качество это именно активность, так же отзывчивость, таким образом сработаемся и будем рады видеть вас в нашей команде.
есть веб тг, версия "к" мне нужна функция на python или на js, которой я на вход подам урл поста (например https://t.me/poveldurev/609), а на выходе получу message id (например 4294967905) варианты любые - будь то какой-то фреймворк типа pyrogram (внимательно - клиент не подписан на канал, который парсится), или парсинг через селениум будучи залогиненым или как вам ближе...
Задача: Необходимо исключить лишнее действие в работе скрипта. Здесь детали https://docs.google.com/document/d/1crAtUVdL1ZtJIoxFfLP8YCg3ZT12614t7Se7bBGkqGQ/edit?usp=sharing Готовы вникнуть и решить задачу? Сработаемся есть еще очень много задач по этому проекту. Заинтересован в долгосрочном сотрудничестве. Больше 1-2х дней не предлагайте.
1. Описание работы:o Создание аватаров через пайплайн, который включает создание исходных файлов и сборку в Blender.o Поддержка и улучшение текущего процесса сборки аватаров.o Использование инструментов Colab и других программ, связанных с разработкой аватаров.2. Требуемые навыки:o Опыт работы с 3D-моделированием, желательно в Blender.o Навыки работы с Python для автоматизации процессов, опыт работы в Google Colab.o Опыт интеграции аватаров в Unity и настройка шейдеров.3. Желательные навыки:o Работа со сторонними библиотеками.o Понимание процесса обучения нейронных сетей для улучшения моделей.
Машинное обучение и анализ данных-тема -Применение ансамблевых методов для решения прикладной задачи анализа данныхОсновная задача - написание программы на python, варианты в приложенном документе на странице 23аяуюОригинальность 51% Антиплагиат ВУЗпримерный планВВЕДЕНИЕ 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ 2. ПРОЕКТИРОВАНИЕ И РЕАЛИЗАЦИЯ 3. ТЕСТИРОВАНИЕ ЗАКЛЮЧЕНИЕ СПИСОК ЛИТЕРАТУРЫ ПРИЛОЖЕНИЕ
Текущая страница: 21
Всего страниц: 318