Разработка парсера, с будущей интеграцией ИИ
Проблема
1. Разработка проекта: "система трендвотчинга с использованием AI". Конечный проект должен принимать любую информацию в blackbox, обрабатывать ее и в понятном интерфейсе строить саммари, прогнозы по запросу юзера. (Например, я запрашиваю у программы "Кейсы CS", ожидаемый результат, полный объем данных в этой категории (Какой спрос, тенденции, сколько кейсов торгуется, какой объем рынка, какие кейсы продаются, сегментация) + прогноз ("анализ показал, что кейс1 вырастет в цене на n% в связи с факт1,факт2). Вывод с дашбордами, графиками, и возможность перейти в прямые источники информации по запросу.
2. Весь проект делится на 3 вехи: 1) Алгоритм сбора информации и создание унифицированной rawdata 2) Обработка информации, кластеризация с нейросетями 3) Аналитика, дашборды, прогнозы. Этот заказ, это 1 веха этого проекта: "Алгоритм сбора данных"
3. Критически важно, чтобы архитектура проекта была гибкой и оптимизированной для завершения разработки родительского проекта
Цель конкретно этой задачи
1. Реализовать алгоритм сбора данных для родительского проекта
2. Организовать парсинг информации по 2 источникам (RSS-фиды и telegram), хранение rawdata (максимально подробной) и способность вывести эти данные через запрос в telegram
Подробное первичное ТЗ в файле: (Ожидаю, что исполнитель сможет провести анализ и предложить наиболее оптимизированное решение отвечающие ключевым требованиям)
Скрипты и боты