Hinweis: Dieser Beitrag enthält Affiliate-Links (mit * gekennzeichnet). Kaufst du über einen dieser Links, erhalte ich eine kleine Provision — für dich ändert sich der Preis nicht.
Wer LLMs lokal betreibt, kennt das Dilemma: Das große Modell ist schlau, aber langsam — das kleine flott, aber begrenzt. Warum also nicht beide fahren und je nach Frage automatisch das richtige wählen? Genau das erledigt jetzt Lemonade 11.5: AMDs quelloffener lokaler KI-Server hat seinen Router fertiggestellt, frisch veröffentlicht zum Advancing-AI-Event — nur eine Woche nach Version 11.0.
WAS IST LEMONADE ÜBERHAUPT?
Lemonade ist ein Open-Source-Server für lokale KI-Modelle, hinter dem AMD steht — quasi das Gegenstück zu Ollama, aber mit Fokus auf AMD-Hardware: Das Tool spricht CPU, Radeon-GPUs und die Ryzen-AI-NPUs an und bietet eine OpenAI-kompatible API. Deine lokalen Tools und Skripte reden mit Lemonade also genauso wie mit ChatGPT — nur dass alles auf deiner eigenen Hardware bleibt.
DAS HIGHLIGHT: Der Router denkt für dich mit
Der neue Lemonade Router verteilt eingehende Anfragen automatisch auf das passende Modell — nach Regeln, die du selbst festlegst. Vier Strategien stehen bereit:
- Regel-basiert: feste Zuordnungen, etwa Code-Fragen an das Coder-Modell.
- Klassifizierer: ein Classifier ordnet die Anfrage einer Kategorie zu.
- Semantische Ähnlichkeit: die Anfrage wandert zum Modell mit den ähnlichsten Beispiel-Prompts.
- LLM-as-Router: ein kleines, schnelles LLM entscheidet selbst, welches große Modell übernimmt.
Die Routing-Richtlinien definierst du in JSON-Dateien oder bequem über die grafische Oberfläche. So bekommt dein Homelab einen Hauch von Cloud-Komfort: eine Adresse, viele Modelle, immer die passende Antwort.
WICHTIG: Sicherheits-Härtung beim Browser-Zugriff
Version 11.5 dreht auch an der Sicherheitsschraube: Der Server schickt nicht mehr pauschal „Access-Control-Allow-Origin: *“. Browser-Zugriffe von fremden Rechnern werden jetzt mit 403 abgelehnt, sofern die Herkunft nicht ausdrücklich in der Umgebungsvariable LEMONADE_ALLOWED_ORIGINS steht — auch der WebSocket-Fallback auf Same-Origin ist raus. Heißt für dich: Greifst du aus dem LAN per Browser auf deinen Lemonade-Server zu, musst du die erlaubten Adressen nach dem Update einmal eintragen. Ein sinnvoller Schritt — gerade nachdem zuletzt offen erreichbare Self-Hosting-Dienste verstärkt ins Visier von Angreifern geraten sind.
Dazu kommen Detail-Fixes: die Pfad-Erkennung des ggml-HIP-Plugins unter Arch Linux, neue Statusfelder is_busy und is_streaming in der /health-Antwort und reparierte arm64-Pakete, denen die Web-Oberfläche fehlte.
SO STEIGST DU EIN
Lemonade läuft unter Windows und Linux; Quellcode und Installer liegen auf GitHub. Für flüssige lokale Modelle brauchst du vor allem genug Arbeitsspeicher — 32 GB sind ein guter Start, etwa mit einem Crucial Pro DDR5 32GB Kit*. Als kompakte Basis fürs KI-Homelab bietet sich ein Ryzen-Mini-PC wie der Minisforum UM890 Pro* an — dessen Ryzen 9 8945HS bringt die NPU gleich mit.