GMBSPYLAB: FB Ad Library → лента в Telegram

Playwright, но без разбора вёрстки

Витрина рисуется прямо в браузере, поэтому Chromium без окна открывает страницу один раз — дальше сбор идёт по тому же ответу, что получает сам браузер, и не тратит время на разбор вёрстки. Разбирать HTML на каждой карточке в десятки раз дороже.

Запросы идут с обычного пользовательского темпа: пул сессий с привязкой к рынку, не чаще одного запроса в 2,5 с и жёсткий потолок на сессию. Смысл в том, чтобы поток был предсказуемым и его хватало на суточный объём.

Сбор переживает изменения на той стороне

Источник живой: разметка и параметры выдачи меняются несколько раз в сутки, и простой сборщик после каждого такого изменения молча отдаёт нули. Здесь схема ответа проверяется на каждом шаге, при расхождении сессия переинициализируется и поток не прерывается. Если источник отвечает ошибкой или притормаживает — сессия уходит в паузу с экспоненциальным откатом и возвращается сама. За сутки такое случается десятки раз, и ни один такой случай не требует моего участия.

Postgres 16 + arq + MinIO для медиа

SQLAlchemy 2 async + asyncpg + alembic миграции, индексы по рекламодателю, стране и дате первого появления. arq через Redis для фоновых задач (загрузка файлов, отсев повторов). Картинки и видео → MinIO / R2 через aioboto3. Повторы отсеиваются по перцептивному хешу изображения — 75 тыс. собранных → 5-12 тыс. уникальных в день.

Telegram через aiogram 3 — два формата вывода

v1 — форум-супергруппа: createForumTopic для каждой из 30+ стран (ЕС-27, Великобритания, Бразилия, Танзания, Мексика, Индия, Канада, ЮАР, Сербия и другие). Каждая страна — своя ветка, удобно смотреть по рынку.

v2 — канал с хештегами: единый поток и теги #GEO #PWA #VIDEO #1DAY #FBPAGE. Задача по расписанию ежедневно обновляет тег #NDAY — видно, сколько дней объявление уже крутится.