Zum Hauptinhalt springen
On-Prem-KI · was ich zu Hause betreibe

On-Prem-KI,
die das Haus nie verlässt.

Ein KI-Assistent für meine eigenen Dokumente und Systeme, auf Hardware, die mir gehört. Nichts verlässt das Haus, jede Antwort belegt ihre Quelle und landet in einem Log, und der Stack ist mit der Disziplin gehärtet, die ich aus der Netzwerksicherheit mitbringe.

Isometrischer Schnitt durch einen gläsernen, self-hosted abgesicherten Serverraum mit einem KI-Kern im Inneren, die Daten bleiben im Gebäude.
Vollständig lokale InferenzAntworten mit QuellenangabeUnveränderliches Audit-LogEU / Self-Hosted
Warum es das gibt

Die Modelle sind bereit. Meine Daten bleiben zu Hause.

Kontoauszüge, Belege, Gesundheitsnotizen, Briefe, Familienpläne: Die nützlichsten Fragen an eine KI betreffen genau das, was ich nie in einen Cloud-Chat kopieren würde. Also kommt der Assistent zu den Daten, nicht umgekehrt.

Die üblichen Antworten sind ein Cloud-Abo oder eine teure Appliance. Ich bin einen dritten Weg gegangen: offene Modelle und schlichte Software, auf einem Rechner, den ich schon habe.

Die Plattform

Vier Schichten. Alle Self-Hosted.

Jede Schicht stammt aus laufendem Code einer Flotte von 20+ Self-Hosted-KI-Anwendungen.

Schicht 01

Lokales Modell-Serving

Open-Weight-Modelle laufen lokal über Ollama, geroutet über ein gehärtetes Provider-Gateway mit Rate-Limiting und Metriken. Pro Aufgabe das passende Modell. Nichts ruft nach außen.

Schicht 02

Retrieval ohne Datenabfluss

RAG auf Basis Ihrer eigenen Dokumente, mit einer Quellenangabe auf jede Antwort, Auto-Chunking, Dedup und Reranking inklusive. Keine Quelle, keine Aussage.

Schicht 03

Assistent & Agenten

Ein Chat-Assistent auf Basis Ihrer Daten ist im ersten Install dabei. Mehrstufige Agenten, die echte Aktionen in Ihren Systemen ausführen, beobachtbar, fortsetzbar, idempotent bei Retry, laufen bereits über die Flotte und werden als Nächstes ins Produkt verpackt.

Schicht 04

Governance, Audit & Zugriff

Jede Frage und Antwort wird in ein unveränderliches Log geschrieben. Rollenbasierter Zugriff, Least-Privilege-DB-User pro Workload, Secrets nur in der Umgebung, Capabilities am Container abgeworfen.

Der Unterschied

Von einem Sicherheitsingenieur abgesichert, nicht später angeschraubt.

Dieselbe Härtung, die ich bei Netzwerken anwende, liegt darunter: Capability-Drop in Containern, Netzwerk-Isolation pro App, Prompt-Injection-Abwehr und Secrets-Hygiene vom ersten Tag an, nicht nachträglich angeschraubt.

Eine Design-Entscheidung

Warum Software, keine Appliance.

Ich habe es als Software gebaut, die Sie selbst betreiben, statt als Hardware-Box. Aus ein paar bewussten Gründen.

Eine Appliance hieße
  • Ein Hardware-Kauf, im Voraus dimensioniert und bezahlt
  • Eine Box, die untergebracht, betrieben und gewartet werden muss
  • Gebunden an Hardware und Roadmap einer Appliance
  • Kapazität beim Kauf fixiert, genutzt oder nicht
Software heißt
  • Läuft auf Ihrer Hardware, Ihrer VPC oder einer Box, die Sie schon haben
  • Installiert mit einem Befehl, docker compose up
  • Keine Appliance, kein Capex, kein Lock-in
  • Sie besitzen und auditieren jede Schicht des Stacks
Wo es heute steht

Eine Aufgabe, vollständig erledigt.

Das erste Deployment macht eine Sache durchgängig richtig, bevor irgendetwas darauf aufgesetzt wird.

  1. Auf die eigenen Dokumente richten
    Ein Ordner mit meinen eigenen Dateien: Briefe, Auszüge, Handbücher, Notizen.
  2. In normaler Sprache fragen
    Es antwortet nur aus diesen Dokumenten. Kein Außenwissen sickert ein.
  3. Jede Antwort belegt ihre Quellen
    Keine Quelle, keine Aussage. Sie springen direkt zur genutzten Stelle.
  4. Jeder Austausch wird protokolliert
    Frage, Antwort und Quellen landen in einem unveränderlichen Audit-Trail.
  5. Alles läuft lokal
    docker compose up auf Ihrer eigenen Box. Keine externe API im Antwortpfad.

Ehrlicher Stand: Der Kern ist echt und läuft jeden Tag auf meinem eigenen Rechner, als Rückgrat der Apps im Portfolio. Konnektoren und Agenten wachsen mit meinem eigenen Bedarf. Ein laufendes Labor, kein Produktlaunch.

Wofür ich es nutze

Wo es jeden Tag läuft.

Derselbe Stack liegt unter den Haushalts-Tools im Portfolio: private Daten, die zu Hause bleiben.

Finanzen und BelegeKochen und EssenspläneTrainingslogsBriefe und DokumenteDiktat per SpracheProgrammieren mit einem Agenten

Eines der Systeme, die ich baue.

Neugierig, wie ein Teil davon funktioniert, oder Lust, etwas Ähnliches für sich selbst zu bauen? Schreiben Sie mir.

Kontakt aufnehmen
Fragen

Fragen zu On-Prem-KI zu Hause

Verlassen Daten den Rechner?

Nein. Modelle, Retrieval und Speicher laufen alle lokal. Im Antwortpfad gibt es keine externe API, außer ich füge für eine Aufgabe ausdrücklich eine hinzu.

Brauche ich eine spezielle Appliance?

Nein. Es ist Software. Sie läuft auf einem normalen Desktop oder einer einzelnen GPU-Box.

Was ist der Unterschied zu einem Cloud-KI-Assistenten?

Ein Cloud-Assistent schickt die Daten an einen Drittanbieter. Das hier läuft komplett zu Hause. Der Preis: Ich betreibe es selbst, und bei privaten Daten ist genau das der Punkt.

Ist es fertig?

Der Kern ist echt und läuft jeden Tag. Er wächst mit den Apps, die darauf aufbauen: ein laufendes Labor, kein Produkt.

Welche Modelle nutzt es?

Offene Modelle (Llama, Qwen, Gemma und ähnliche) über Ollama. Sie lassen sich jederzeit tauschen, ohne Bindung an einen Anbieter oder ein Modell.

Stand: September 2026