Парсинг цен и Контроль актуальности цен на маркетплейсе

Ищем решение с контролем цен. Наш сайт маркетплейс промышленного оборудования. Мы собираем у себя на сайте около 100 поставщиков на общую сумму около 30 тысяч товаров. Задача в общем то понятная: держать цены актуальными на сайте. Как это было реализовано до текущего момента: есть несколько вариантов того как можно обновлять цены 1. Спарсить сайт поставщика, привязать по кодам, сделать крон и автоматом обновление раз в неделю Такого обновления около 70% товаров, т.е 21 тыс из 30ти Проблема метода: - ссылки ломаются почему то, раз в пару тройку месяцев а иногда и чаще пишу парсеру о том что ссылка перестала работать, он там что то с ней шаманит и она снова на какой то период начинает работать. - поломки парсеров ещё могут быть из за изменений на самих сайтах поставщиков (защиту поставили, структуру поменяли и т.д) - стабильно работают только те ссылки которые предоставляют сами поставщики, но таких мало и не у всех настроено - периодически меняются товары или удаляются или замена кодов происходит из за чего надо вручную пересопоставлять коды и снова запускать в обновление 2. Второй метод это собственно ручное обновление по прайсам. Прайсы эти тоже кто как нам присылает. У кого пдф, у кого эксель, у кого то на сайте. Общий вывод: контроль цен это полнейший хаос и бардак. Людей на это не хватает, времени уходит много, клиенты жалуются на неактуальность цен, и я нервничаю из за этого всего! Короче говоря побольше бы автоматизации меньше ручного труда. Жду ваши предложения!