YouTube Comment Scraper по ключевым словам
Нужно сделать программу, которая позволяет искать и сохранять комментарии с YouTube-канала по ключевым фразам.
Смысл такой: я вставляю ссылку на канал, например https://www.youtube.com/@lisinyt/videos. Программа загружает все видео с этого канала, затем заходит под каждое видео и собирает все комментарии. После этого она проверяет, есть ли в комментариях указанные мной ключевые слова или фразы. Всё, что подходит — сохраняется в таблицу.
В таблице должны быть такие поля: ссылка на комментарий, ник пользователя, текст комментария, дата комментария, название видео, ссылка на видео.
Хочу, чтобы можно было задать ключевые слова (одно или несколько), выбрать, нужно ли учитывать регистр, нужно ли искать точное совпадение или просто вхождение слова, и указать фильтр по дате (например, только за последние 30 дней).
YouTube API использовать не надо, чтобы не упираться в лимиты. Надо делать через парсинг — подгружать страницу, пролистывать до конца, доставать все видео, а потом комментарии.
Было бы хорошо, если будет видно прогресс (сколько видео обработано и сколько комментариев найдено), и чтобы программа не загружала одни и те же данные повторно, если я запускаю её снова с теми же параметрами. Также хочу, чтобы сохранялась история запросов — какие ключевые слова я вводил, по какому каналу искал, и когда.
Скрипты и боты