готов

crawlnet

Распределённый краулер на asyncio — общая очередь в Redis, YAML-спайдеры, выгрузка в CSV/Excel.

Роль
Продукт и бэкенд
Год
2026
Стек
Python 3.12 · asyncio · Redis · httpx · parsel · SQLAlchemy · FastAPI · aiogram 3
Статус
готов

Задача

Нужны несколько воркеров на разных машинах без отдельного координатора: общая очередь с приоритетами и отложенными ретраями, вежливость между хостами, at-least-once через inflight + reaper, YAML-спайдеры без правки кода.

Решение и архитектура

CLI, бот и дашборд кладут задачи в Redis frontier. Воркеры забирают URL, пишут результат в SQLite или Postgres. Локально можно без Redis — очередь в памяти и SQLite.

CLI / bot / dashRedis frontierworkerworkerSQLite / Postgres
CLI / bot / dashboard → Redis frontier → workers → SQLite / Postgres

Инженерные решения

Pop + inflight. Берём earliest ready из ZSET, если score в будущем — кладём обратно; иначе помечаем в inflight с дедлайном claim.

# crawlnet/frontier.py
async def pop(self) -> Request | None:
    """Atomically take the earliest ready request and mark it in-flight."""
    got = await self.r.zpopmin(self.k("frontier"), 1)
    if not got:
        return None
    member, score = got[0]
    now = time.time()
    if score > now:
        await self.r.zadd(self.k("frontier"), {member: score})
        return None
    await self.r.zadd(self.k("inflight"), {member: now + self.inflight_timeout})
    return Request.loads(member)

Ack без двойного счётчика. Если reaper уже вернул запрос, повторный ack откатывает pending, а не ломает job.

# crawlnet/frontier.py
async def ack(self, req: Request) -> None:
    async with self.r.pipeline(transaction=True) as pipe:
        pipe.zrem(self.k("inflight"), req.dumps())
        pipe.hincrby(self.k("job", req.job_id), "pending", -1)
        removed, pending = await pipe.execute()
    if not removed:
        # Reaper already returned it; undo double count
        await self.incr(req.job_id, "pending", 1)
        return
    if pending <= 0:
        await self._finish(req.job_id)

Вежливость по хосту. acquire_slot ставит NX-ключ с TTL = Crawl-delay; иначе возвращает ожидание по PTTL.

# crawlnet/frontier.py
async def acquire_slot(self, host: str, delay: float) -> float:
    """Politeness: 0 means go now; otherwise seconds to wait."""
    if delay <= 0:
        return 0.0
    if await self.r.set(self.k("slot", host), "1", nx=True, px=int(delay * 1000)):
        return 0.0
    ttl = await self.r.pttl(self.k("slot", host))
    return max(ttl, 50) / 1000

Стек

Python 3.12, asyncio, Redis, httpx, parsel, SQLAlchemy, FastAPI, aiogram 3, Docker — из README.

Что бы улучшил дальше

Склеить zpopmin и запись в inflight в один Lua/Redis-скрипт: сейчас между ними окно, где процесс может упасть. Добавить скрин дашборда в docs/screenshots (в README плейсхолдер).

Ссылки

Репозиторий: github.com/blessed-bless/crawlnet. Публичного demo нет — локальный запуск и docker compose.