готов
FleetKit
Self-hosted control plane для ботов, воркеров, cron и входящих вебхуков — одна API и дашборд вместо россыпи скриптов.
Задача
Нужен был один контур для ботов и фоновых агентов: очередь с retry и timeout, регистрация воркеров, cron, webhook → job, дашборд и API-ключи. Без отдельного зоопарка скриптов на каждой машине.
Решение и архитектура
React-дашборд ходит в API по JWT, SDK и воркеры — по API key. Jobs, schedules и webhooks пишут в Postgres; Redis — для кэша и live. Планировщик тикает cron и кладёт jobs в очередь scheduled.
Инженерные решения
Claim через FOR UPDATE SKIP LOCKED. Несколько воркеров берут следующий queued job без гонки; на SQLite smoke-режиме — обычный SELECT.
# backend/fleetkit_api/services/jobs.py
stmt = (
select(Job)
.where(
Job.app_id == app.id,
Job.status == JobStatus.queued,
(Job.scheduled_for.is_(None)) | (Job.scheduled_for <= now),
)
.order_by(Job.created_at.asc())
.limit(1)
)
# SKIP LOCKED is Postgres-only; SQLite smoke mode uses plain SELECT.
settings_url = str(getattr(db.bind, "url", ""))
if "sqlite" not in settings_url:
stmt = stmt.with_for_update(skip_locked=True)
Cron → job. tick_schedules считает next_run_at через croniter и кладёт job в очередь scheduled.
# backend/fleetkit_api/services/schedules.py
await enqueue_job(
db,
app=app,
name=f"schedule:{schedule.name}",
payload={**schedule.payload, "_schedule_id": schedule.id},
queue="scheduled",
)
schedule.last_run_at = now
schedule.next_run_at = compute_next_run(schedule.cron, base=now)
DLQ и requeue. Исчерпавший попытки job уходит в dead letter; requeue создаёт новый job с _requeued_from_dlq и помечает запись.
# backend/fleetkit_api/services/dlq.py
job = await enqueue_job(
db,
app=app,
name=item.job_name,
payload={**item.payload, "_requeued_from_dlq": item.id},
queue="default",
)
item.requeued = True
Стек
Python 3.12, FastAPI, SQLAlchemy, Postgres / SQLite, Redis, React, Docker Compose — как в README репозитория.
Что бы улучшил дальше
Свести claim на Postgres и SQLite к одному контракту тестов (сейчас ветка по URL). Добавить реальный скрин дашборда в docs/screenshots — в README пока плейсхолдер.
Ссылки
Репозиторий: github.com/blessed-bless/fleetkit. Публичного demo-URL в репо нет — только локальный compose (localhost:8080 / API docs).