AI-Hub
Python · FastAPI früher llm-gatewayEin OpenAI-kompatibler Proxy, der einen Endpunkt auf viele Backends verteilt: lokale Server wie llama.cpp, llama-swap, vLLM und Ollama, Cloud-Anbieter, und ComfyUI für Bild, Video und Audio. Aufrufer sehen eine einzige URL. Auch Claude Code: Über den Anthropic-Endpunkt laufen Claude und offene Modelle nebeneinander.
Jede Anfrage landet in einer Warteschlange. Den Zuschlag bekommt das schnellste freie Backend, das nichts kostet; die Cloud springt nur ein, wenn lokal alles belegt ist. Ein Backend, das frei wird, nimmt bevorzugt die Art Anfrage, die es gerade bedient hat, damit kein Modell unnötig neu lädt. Ist alles belegt, wird der Aufruf geparkt, statt ihn mit einem Fehler abzuweisen.
- Auto-Discovery je Backend
- Scheduler + Failover
- virtuelle Aliase
- Call-Parking statt 503
- Mehrbenutzer mit Kostenkontingenten
- Anthropic- und Responses-API
- Reasoning je Anfrage steuerbar
- ComfyUI mit Live-Fortschritt
- 3D-Meshes und Rigging
- Quarantäne für defekte Backends
- Konsole und Routing-Dashboard