Восстановить работу парсер + ТГ бот на сайте Wordpress
Общая информация:
На сайте работает парсер. Данные используются для:
1. Форм, где посетители могут получить информацию - вводят информацию в нужном формате. Если информация есть - получают ее. Если информации нет, то могут оставить email. Когда информация появится (после парсинга) им на почту придет уведомление.
2. Сюда же подвязан Telegram бот. Он дублирует работу форм. Берет эти же данные. Посетитель вводит данные в бот. Если они есть - получает. Если нет, то может подписаться. И в будущем получить уведомление.
Алгоритм действия парсера:
1. Каждые 2 часа (без ограничений по времени) парсер находит новые ссылки на источник и добавляет в очередь.
2. Есть источник 2 и 1.
3. На источнике 2 файлы обрабатываются только 1 раз и больше не добавляются в очередь.
4. На источнике 1 все документы добавляются в очередь, так как на источнике 1 они могут обновляться.
5. Каждые 5 минут, скрипт смотрит есть ли документы в очереди , если нет - то отдыхает.
6. Если есть - то обрабатывает. После обработки документа проверяется время.
7. Если оно в заданном диапазоне - то высылается уведомление на email и в Telegram посетителям чьи данные удовлетворяют условиям.
Доп. иформация:
1. Функционал скриптов отделен от работы сайта.
2. Скрипты выполняются в фоновом режиме.
3. Используется система очередей (документы парсятся по-одному, а не в цикле).
Полное ТЗ в Google Docs - https://docs.google.com/document/d/1h6gN7kFNSFBhFaMMzi9Dq92aW8CzciaDFTNZwAEj6Z4/edit?pli=1&tab=t.0#heading=h.9odqjntjgp25
Доработка и настройка сайта