Нужен микросервис для интеграции с ПО на github
Необходимо парсить товары с несложных сайтов где количество до 5000 шт с помощью ПО с открытым кодом, которое парсит сайты на базе llama. На выходе xml/json.
Адрес для скачивания ПО: https://github.com/ScrapeGraphAI/Scrapegraph-ai/tree/main
"ScrapeGraphAI is a web scraping python library that uses LLM and direct graph logic to create scraping pipelines for websites and local documents (XML, HTML, JSON, Markdown, etc.)."
Надо сделать микросервис в который вставляется ссылка на категорию с товарами и нажимается парсинг
Примеры сайтов для тестирования:
https://www.super-krepeg.ru/
https://www.elektronovamikroskopie.eu/
https://kuzmich24.ru/
https://xn--e1afmdcbhkihdej.xn--p1ai/
https://www.sapphire.ru/
https://germeon.ru/
https://armaton-spb.ru/
https://www.homutoff.pro/
2. Как работает микросервис интеграции:
Получение запроса:
Микросервис получает запрос от одной системы (например, веб-приложения или другого микросервиса).
Обработка запроса:
Запрос анализируется, данные преобразуются в нужный формат, и определяется, куда их нужно направить.
Маршрутизация:
Данные направляются в соответствующую систему или сервис.
Отправка данных:
Микросервис отправляет данные в целевую систему, используя протоколы (HTTP, gRPC, AMQP и т.д.).
Получение ответа:
Микросервис получает ответ от целевой системы и, при необходимости, преобразует его в формат, понятный исходной системе.
Возврат результата:
Микросервис возвращает результат исходной системе или сохраняет его для дальнейшей обработки.
Десктоп программирование