готов
crawlnet
Распределённый краулер на asyncio — общая очередь в Redis, YAML-спайдеры, выгрузка в CSV/Excel.
Задача
Нужны несколько воркеров на разных машинах без отдельного координатора: общая очередь с приоритетами и отложенными ретраями, вежливость между хостами, at-least-once через inflight + reaper, YAML-спайдеры без правки кода.
Решение и архитектура
CLI, бот и дашборд кладут задачи в Redis frontier. Воркеры забирают URL, пишут результат в SQLite или Postgres. Локально можно без Redis — очередь в памяти и SQLite.
Инженерные решения
Pop + inflight. Берём earliest ready из ZSET, если score в будущем — кладём обратно; иначе помечаем в inflight с дедлайном claim.
# crawlnet/frontier.py
async def pop(self) -> Request | None:
"""Atomically take the earliest ready request and mark it in-flight."""
got = await self.r.zpopmin(self.k("frontier"), 1)
if not got:
return None
member, score = got[0]
now = time.time()
if score > now:
await self.r.zadd(self.k("frontier"), {member: score})
return None
await self.r.zadd(self.k("inflight"), {member: now + self.inflight_timeout})
return Request.loads(member)
Ack без двойного счётчика. Если reaper уже вернул запрос, повторный ack откатывает pending, а не ломает job.
# crawlnet/frontier.py
async def ack(self, req: Request) -> None:
async with self.r.pipeline(transaction=True) as pipe:
pipe.zrem(self.k("inflight"), req.dumps())
pipe.hincrby(self.k("job", req.job_id), "pending", -1)
removed, pending = await pipe.execute()
if not removed:
# Reaper already returned it; undo double count
await self.incr(req.job_id, "pending", 1)
return
if pending <= 0:
await self._finish(req.job_id)
Вежливость по хосту. acquire_slot ставит NX-ключ с TTL = Crawl-delay; иначе возвращает ожидание по PTTL.
# crawlnet/frontier.py
async def acquire_slot(self, host: str, delay: float) -> float:
"""Politeness: 0 means go now; otherwise seconds to wait."""
if delay <= 0:
return 0.0
if await self.r.set(self.k("slot", host), "1", nx=True, px=int(delay * 1000)):
return 0.0
ttl = await self.r.pttl(self.k("slot", host))
return max(ttl, 50) / 1000
Стек
Python 3.12, asyncio, Redis, httpx, parsel, SQLAlchemy, FastAPI, aiogram 3, Docker — из README.
Что бы улучшил дальше
Склеить zpopmin и запись в inflight в один Lua/Redis-скрипт: сейчас между ними окно, где процесс может упасть. Добавить скрин дашборда в docs/screenshots (в README плейсхолдер).
Ссылки
Репозиторий: github.com/blessed-bless/crawlnet. Публичного demo нет — локальный запуск и docker compose.