Создание парсера. Сбора всех страниц товаров с сайтов

Нужно разработать надёжный парсер, который будет выполнять следующие функции: 1.Собрать все страницы вебсайта https://www.apmex.com, включая пагинацию внутри категорий (например, золото, серебро и т.д.). 2.Сохранять URL-адреса товаров (в формате: https://www.apmex.com/product/....) в файл CSV или Google Sheets. 3.Каждый день автоматически запускаться и проверять, появились ли новые страницы — если да, добавлять их в базу. 4.Исключать дубликаты. Если страница уже есть — не сохранять повторно. 5. Работать стабильно: сайт может иметь защиту от ботов (403, Cloudflare). [:2e3b] [:1f527] Технические детали: •Никакие данные с карточек (цены, описания и т.д.) пока не нужны. Только ссылки. •Можно сохранять в CSV или Google Sheet, Airtable — обсуждаемо. •Предпочтительно решение на Python, но открыт к предложениям. [:2e3b] [:1f3af] Требования к результату: •Один файл-скрипт + инструкция (как запускать) •CSV-файл (или таблица) со всеми уникальными URL товаров •Возможность адаптировать на другие похожие сайты в будущем