Lokales Modell-Serving
Open-Weight-Modelle laufen lokal über Ollama, geroutet über ein gehärtetes Provider-Gateway mit Rate-Limiting und Metriken. Pro Aufgabe das passende Modell. Nichts ruft nach außen.
Ein KI-Assistent für meine eigenen Dokumente und Systeme, auf Hardware, die mir gehört. Nichts verlässt das Haus, jede Antwort belegt ihre Quelle und landet in einem Log, und der Stack ist mit der Disziplin gehärtet, die ich aus der Netzwerksicherheit mitbringe.

Kontoauszüge, Belege, Gesundheitsnotizen, Briefe, Familienpläne: Die nützlichsten Fragen an eine KI betreffen genau das, was ich nie in einen Cloud-Chat kopieren würde. Also kommt der Assistent zu den Daten, nicht umgekehrt.
Die üblichen Antworten sind ein Cloud-Abo oder eine teure Appliance. Ich bin einen dritten Weg gegangen: offene Modelle und schlichte Software, auf einem Rechner, den ich schon habe.
Jede Schicht stammt aus laufendem Code einer Flotte von 20+ Self-Hosted-KI-Anwendungen.
Open-Weight-Modelle laufen lokal über Ollama, geroutet über ein gehärtetes Provider-Gateway mit Rate-Limiting und Metriken. Pro Aufgabe das passende Modell. Nichts ruft nach außen.
RAG auf Basis Ihrer eigenen Dokumente, mit einer Quellenangabe auf jede Antwort, Auto-Chunking, Dedup und Reranking inklusive. Keine Quelle, keine Aussage.
Ein Chat-Assistent auf Basis Ihrer Daten ist im ersten Install dabei. Mehrstufige Agenten, die echte Aktionen in Ihren Systemen ausführen, beobachtbar, fortsetzbar, idempotent bei Retry, laufen bereits über die Flotte und werden als Nächstes ins Produkt verpackt.
Jede Frage und Antwort wird in ein unveränderliches Log geschrieben. Rollenbasierter Zugriff, Least-Privilege-DB-User pro Workload, Secrets nur in der Umgebung, Capabilities am Container abgeworfen.
Dieselbe Härtung, die ich bei Netzwerken anwende, liegt darunter: Capability-Drop in Containern, Netzwerk-Isolation pro App, Prompt-Injection-Abwehr und Secrets-Hygiene vom ersten Tag an, nicht nachträglich angeschraubt.
Ich habe es als Software gebaut, die Sie selbst betreiben, statt als Hardware-Box. Aus ein paar bewussten Gründen.
Das erste Deployment macht eine Sache durchgängig richtig, bevor irgendetwas darauf aufgesetzt wird.
Ehrlicher Stand: Der Kern ist echt und läuft jeden Tag auf meinem eigenen Rechner, als Rückgrat der Apps im Portfolio. Konnektoren und Agenten wachsen mit meinem eigenen Bedarf. Ein laufendes Labor, kein Produktlaunch.
Derselbe Stack liegt unter den Haushalts-Tools im Portfolio: private Daten, die zu Hause bleiben.
Neugierig, wie ein Teil davon funktioniert, oder Lust, etwas Ähnliches für sich selbst zu bauen? Schreiben Sie mir.
Stand: September 2026