База данных в Yandex Cloud с выгрузкой из WB
Скрипты и боты
Бюджет: 20000 руб.
Создать автоматизированную систему, которая:
Регулярно выгружает данные из Wildberries API по заданным правилам.
Сохраняет их в управляемую БД (PostgreSQL/ClickHouse) в Yandex Cloud.
При необходимости обрабатывает данные (агрегация, очистка, аналитика).
2. Требования к системе
2.1. Источник данных
Wildberries API (например, /api/v1/supplier/sales, /api/v1/supplier/stocks, /api/v1/supplier/orders и др.).
Авторизация через API-ключ.
Периодичность обновления:
Раз в час / день (настраиваемо).
2.2. Хранение данных (Yandex Cloud)
Выбор БД:
PostgreSQL – если нужны транзакции и сложные связи.
ClickHouse – если важна аналитика и большие объемы.
Схема данных:
Определяется после анализа API Wildberries (например, таблицы sales, orders, stocks).
Возможность денормализации для ускорения отчетности.
Резервное копирование: Настроить автоматические бэкапы.
2.3. ETL-процесс (извлечение, преобразование, загрузка)
Язык/инструменты: Python (FastAPI/Requests), Go, или готовые ETL-решения (Airflow).
Этапы:
Извлечение: Получение данных из Wildberries API с обработкой ошибок (429, 500).
Парсинг и валидация: Проверка структуры, очистка дублей.
Загрузка: Обновление данных в БД (инкрементально или полное обновление).
Логирование: Запись ошибок и статусов в отдельную таблицу или Sentry.
2.4. Дополнительная обработка: Расчет метрик (выручка, динамика продаж, остатки)