Загрузка контента третьих сайтов на основе Caddyserver
Сервера и хостинг
Бюджет: 100000 руб.
Нужно разработать серверную систему загрузки контента третьих сайтов на основе reverse proxy и модификации контента в реальном времени.
- Когда юзер заходит на домен, сервер не хостит контент, а динамически подгружает и показывает контент с другого указанного админом сайта.
- Админ указывает в конфиге текст, который должен быть спарсен и изменен или заблокирован в реальном времени, незаметно для юзера. В конфиге указывается какие страницы сайта должны быть полностью заблокированы и/или правила замены текста.
- Подгружаемый контент незаметно модифицируется согласно правилам и шаблонам и показывается юзеру.
- При изменении конфиг файлов, правила отображение сайта обновляются в реальном времени.
- В зависимости от правил третьих сайтов и сложности задач по парсингу, разработчик продолжает поддержку продукта и предоставляет услугу создания конфигов под отдельный сайт. В любом случае, понадобится понятный формат конфиг файлов и мануал.
Возможные варианты реализации:
- рекомендуемый: Caddyserver c плагинами, Docker.
Другие варианты реализации:
- NGINX Reverse Proxy, HTTP Proxies.
- Проксификаторы, DOM парсеры и модификаторы: Python (BeautifulSoup), Node.js (http-proxy-middleware, Cheerio), Lua (nginx, OpenResty), Golang (httputil.ReverseProxy, goquery).
- YAML для конфиг файлов. Отслеживание изменений конфиг файлов: Python (watchdog), Node.js (chokidar).
- Возможны клауд решения - Cloudflare Workers.
