kayetana: KI im eigenen Haus

1Ausgangslage

Viele Teams wollen KI im Alltag nutzen: Fragen zu internen Richtlinien beantworten, Support-Tickets sortieren, Besprechungen verschriftlichen, Texte entwerfen. Die naheliegende Lösung sind Cloud-KI-Dienste. Damit landen aber Inhalte auf fremden Servern, oft außerhalb des eigenen Einflussbereichs. Für Verträge, Personalunterlagen, Kundendaten oder Entwicklungsstände ist das für viele Unternehmen keine Option.

Die Alternative war bisher aufwendig. Wer Modelle selbst betreiben wollte, brauchte Serverhardware, Fachwissen zu Modellen und Schnittstellen und eine eigene Oberfläche für das Team. Dazu kamen Fragen nach Benutzerverwaltung, Protokollierung und Löschfristen.

kayetana bündelt diese Bausteine auf einem einzigen Rechner. Ein Mac Studio mit Apple-Chip ist leise, sparsam und passt in jedes Büro. Offene Modelle laufen direkt darauf. Oberfläche, API, Rollen, Nutzungsstatistik und Datenschutz-Einstellungen sind bereits enthalten. Du entscheidest, welche Modelle laufen, wer Zugriff hat und wie lange Daten aufbewahrt werden.

Auch die Kosten sind planbar. kayetana wird als Pauschale für die Plattform angeboten, ohne Abrechnung pro Token oder Nutzer. Ein größeres Team oder mehr Anfragen ändern daran nichts.

2Architektur im Überblick

Alle Komponenten laufen auf demselben Mac Studio. Es gibt keine Verbindung zu einem externen Dienst, die für den laufenden Betrieb nötig wäre. Internet brauchst du nur, um Modelle und Updates zu laden.

Die Komponenten im Einzelnen:

• Mac Studio: der Server. Apple-Chip mit gemeinsamem Arbeitsspeicher für Rechenkerne und Grafikeinheit. Deshalb lassen sich auch größere Modelle direkt im Speicher halten.
• Ollama: führt die Sprach- und Embedding-Modelle aus (Port 11434).
• Zusatzdienst: übernimmt Transkription, Tokenizer, das Auslesen von Dokumenten und das Fine-tuning (Port 11435).
• Web-App: Oberfläche im Browser und REST-API unter /v2. Die Web-App verwaltet Benutzer, API-Keys, Datasets, Nutzungsprotokoll und Einstellungen in einer SQLite-Datenbank und lauscht nur auf 127.0.0.1, Port 4321.
• HTTPS-Proxy (Caddy): nimmt Verbindungen aus dem Netz auf Port 443 und 80 an, verschlüsselt mit einem eigenen Zertifikat und leitet sie an die Web-App weiter.
• Backup: ein täglicher Job um 3:15 Uhr sichert Datenbank und Dateien und bewahrt die Sicherungen 14 Tage auf.

3Wer mit wem spricht

Ein Browser oder eine Anwendung im Firmennetz verbindet sich per HTTPS mit dem Proxy. Der Proxy reicht die Anfrage an die Web-App weiter, die nur lokal auf dem Mac Studio erreichbar ist. Die Web-App prüft Anmeldung oder API-Key, ruft dann Ollama oder den Zusatzdienst über die lokale Adresse 127.0.0.1 auf und gibt die Antwort zurück. Erst danach schreibt sie einen Eintrag ins Nutzungsprotokoll, ohne Inhalt.

Ollama und Zusatzdienst haben keine eigene Anmeldung. Deshalb lauschen beide nur auf der lokalen Adresse 127.0.0.1 und sind von anderen Rechnern aus nicht erreichbar. Von außen ist nur HTTPS auf Port 443 offen (und 80 für die Weiterleitung). Für Wartungsarbeiten erreicht ein Administrator die Dienste per SSH-Tunnel.

4Funktionen

kayetana deckt die typischen Aufgaben ab, für die Teams heute KI einsetzen. Alle Funktionen gibt es im Playground im Browser und über die API.

• Chat: Systemanweisung, Temperature, maximale Tokens, Reasoning ein oder aus mit Budget, JSON-Modus, Bilder als Eingabe bei Modellen mit Bildverständnis, Werkzeuge und Function Calling. Vorlagen lassen sich für das ganze Team speichern. Zu jeder Anfrage zeigt der Playground fertigen Code in Python, TypeScript und curl.
• Antworten aus Dokumenten (RAG): Texte einfügen oder PDF, Word (docx, doc), RTF, ODT und HTML laden. Jeder Satz der Antwort trägt eine hochgestellte Nummer, darunter steht die Quellenliste. Über die API kommen die Quellen als citations zurück, auch gestreamt. Im Beispiel liegt die Antwort mit Quellen nach 1,5 s vor.
• Embed: Texte in Vektoren umwandeln, in den Formaten float, int8, uint8, binary und ubinary. Der Playground zeigt die Ergebnisse als 2D-Darstellung.
• Rerank: Dokumente nach Relevanz zu einer Frage sortieren.
• Klassifizieren: Texten ein oder mehrere Labels zuordnen, mit Beispielen im Aufruf oder mit einem trainierten Klassifikator. Für jedes Label gibt es eine Konfidenz.
• Tokens: Text in Tokens zerlegen und wieder zusammensetzen.
• Audio: Aufnahmen in Text umwandeln, mit Zeitmarken und wählbarer Sprache. Unterstützt werden unter anderem MP3, M4A, WAV, AIFF und FLAC bis 100 MB pro Datei.
• Modelle: installierte Modelle mit Größe, Kontextlänge und Fähigkeiten ansehen, neue per Name aus der Ollama-Bibliothek laden, nicht mehr benötigte löschen und je Aufgabe ein Standardmodell festlegen.
• Datasets und Embed-Jobs: CSV, JSONL, TXT, PDF und Word hochladen. Embed-Jobs betten ganze Datasets im Hintergrund ein, mit Fortschrittsanzeige und Ergebnis als JSONL zum Download.
• Fine-tuning: ein Chat-Modell mit eigenen Gesprächsbeispielen per LoRA nachtrainieren oder aus gelabelten Daten einen Klassifikator bauen.
• Nutzung: Tokens und Aufrufe pro Tag, Key und Modell, dazu Antwortzeit und Fehlerquote, für 7, 30, 90 oder 365 Tage.
• Team: Rollen, Einladungen per Link und Passwort-Reset durch Admins.

5Typische Einsatzfelder

Die Funktionen von kayetana lassen sich zu Anwendungen kombinieren, die in vielen Unternehmen ähnlich aussehen. Die folgenden Beispiele zeigen, welche Bausteine jeweils zusammenspielen.

• Wissensfragen zu internen Dokumenten: Richtlinien, Verträge und Handbücher werden geladen. Mitarbeitende stellen Fragen im Browser und bekommen Antworten, bei denen jeder Satz auf seine Quelle verweist. Bausteine: Antworten aus Dokumenten, Embed und Rerank.
• Eingänge sortieren: Support-Tickets und Mails werden automatisch Kategorien zugeordnet. Für den Anfang reichen einige Beispiele im Aufruf. Wenn genug gelabelte Daten vorliegen, wird daraus ein eigener Klassifikator. Bausteine: Klassifizieren, Datasets, Fine-tuning.
• Besprechungen und Sprachnachrichten: Aufnahmen werden mit Zeitmarken in Text umgewandelt. Den Text kann ein Chat-Modell anschließend zusammenfassen oder nach Aufgaben durchsuchen. Bausteine: Audio und Chat.
• Suche über große Bestände: Ganze Dokumentensammlungen werden als Dataset hochgeladen und im Hintergrund eingebettet. Die Vektoren nutzt du in deiner eigenen Suchanwendung. Bausteine: Datasets, Embed-Jobs, Rerank.
• Eigene Anwendungen: Interne Werkzeuge sprechen kayetana über die API an. Jede Anwendung bekommt einen eigenen API-Key mit Monatslimit, sodass du die Nutzung je Anwendung im Blick behältst. Bausteine: REST-API, API-Keys, Nutzung.

6So entsteht eine Antwort mit Quellen

Antworten aus Dokumenten sind für viele Teams der wichtigste Anwendungsfall. Deshalb hier der Ablauf im Detail. Du gibst eine Frage ein und fügst Dokumente hinzu, entweder als Text oder als Datei. Dateien wandelt der Zusatzdienst zuerst in Text um. Die Web-App übergibt Frage und Dokumente an das gewählte Chat-Modell mit der Anweisung, nur aus diesen Dokumenten zu antworten.

Das Modell erzeugt die Antwort und ordnet jedem Satz die Stelle zu, aus der er stammt. In der Oberfläche siehst du hochgestellte Nummern und darunter die Quellenliste. Über die API bekommst du dieselbe Information strukturiert als citations, auf Wunsch auch während die Antwort noch gestreamt wird. So kann jede Aussage schnell geprüft werden.

Weder die Frage noch die Dokumente noch die Antwort werden dabei gespeichert. Im Nutzungsprotokoll erscheint nur, dass zu einem Zeitpunkt ein Chat-Aufruf mit einem bestimmten Modell und einer bestimmten Zahl von Tokens stattgefunden hat.

7Datenflüsse und Datenschutz

Alle Verarbeitung findet auf dem Mac Studio statt. Eine Frage im Chat, ein hochgeladenes Dokument oder eine Sprachaufnahme wird lokal verarbeitet. Kein Inhalt wird an einen externen Dienst übertragen.

Prompts und Antworten werden nie gespeichert. Das gilt für den Playground ebenso wie für die API. Nach Abschluss einer Anfrage protokolliert kayetana nur Metadaten: Zeitpunkt, Endpunkt, Modell, Status, Anzahl der Tokens und Dauer. Damit siehst du, wie die Plattform genutzt wird, ohne Inhalte vorzuhalten.

Gespeichert wird, was du bewusst anlegst: Benutzerkonten, API-Keys, Team-Vorlagen, Datasets, Ergebnisse von Embed-Jobs sowie selbst trainierte Modelle und Klassifikatoren. Dokumente, die du im Playground für eine einzelne Frage einfügst, dienen nur dieser Anfrage.

Auf der Datenschutz-Seite legst du Aufbewahrungsfristen fest, getrennt für Nutzungsprotokoll und Datasets: unbegrenzt, 7, 30, 90 oder 365 Tage. Ältere Einträge löscht die Plattform automatisch. Das Nutzungsprotokoll kannst du zusätzlich jederzeit von Hand löschen.

8Einordnung für Datenschutzbeauftragte

kayetana unterstützt dich dabei, KI datenschutzfreundlich einzusetzen: Daten verlassen das Haus nicht, Inhalte werden nicht gespeichert, Fristen und Löschung sind einstellbar. Ob ein konkreter Einsatz zulässig ist, hängt von deinem Zweck, deinen Daten und deinen Prozessen ab. Diese Prüfung nimmt dir die Plattform nicht ab.

Beachte, dass Backups die Daten der letzten 14 Tage enthalten. Was im Nutzungsprotokoll oder in einem Dataset gelöscht wird, kann daher noch bis zu 14 Tage in einer Sicherung liegen. Gleiches gilt für ein zusätzliches externes Backup, dessen Aufbewahrung du selbst festlegst.

9Sicherheit

Sicherheit beginnt bei kayetana mit dem Standort: Der Server steht in deinem Netz, und du bestimmst, wer ihn erreicht. Darauf bauen die folgenden Schutzmaßnahmen auf.

• Rollen: Owner, Admin und Member. Admins laden neue Mitglieder per Link ein und vergeben Passwort-Reset-Links.
• Anmeldung: Eine Sitzung bleibt 14 Tage gültig. Nach 10 Fehlversuchen wird die Anmeldung für 15 Minuten gesperrt.
• API-Keys: Anwendungen authentifizieren sich mit einem Bearer-Token. Jeder Key hat ein Monatslimit. Ist es erreicht, antwortet die API mit Status 429.
• Nachvollziehbarkeit: Das Nutzungsprotokoll zeigt Aufrufe pro Key und Modell, ohne Inhalte.
• HTTPS: Caddy verschlüsselt alle Verbindungen im Netz mit einem eigenen Zertifikat. Damit Browser es akzeptieren, wird das Stammzertifikat einmal auf jedem Rechner als vertrauenswürdig hinterlegt.
• Netzwerk: Die Web-App lauscht nur auf 127.0.0.1. Von außen ist nur der HTTPS-Proxy erreichbar. Ollama und Zusatzdienst lauschen ebenfalls nur lokal.
• Backups: täglich um 3:15 Uhr, 14 Tage aufbewahrt. Da sie auf derselben Platte liegen, empfehlen wir ein zusätzliches externes Backup.
• Offline-Betrieb: Nach dem Laden der Modelle braucht kayetana kein Internet. Du kannst den Server auch ganz vom Internet trennen.

10Modelle und Hardware

kayetana wird mit offenen Modellen ausgeliefert, die für die typischen Aufgaben ausgewählt sind. Alle stehen unter offenen Lizenzen (Apache 2.0 bzw. MIT). Weitere offene Modelle lädst du bei Bedarf per Name aus der Ollama-Bibliothek nach.

In der Modellverwaltung siehst du für jedes installierte Modell Größe, Kontextlänge und Fähigkeiten, etwa ob es Bilder verarbeiten oder Werkzeuge aufrufen kann. Für Chat, Embed und Rerank legst du jeweils ein Standardmodell fest. Über die API liefert /v2/models die verfügbaren Modelle, auf Wunsch gefiltert nach Aufgabe. Eigene Modelle aus dem Fine-tuning erscheinen mit dem Präfix ft- bzw. clf- in derselben Liste.

11Speicherempfehlung

Wir empfehlen einen Mac Studio mit 36 GB Arbeitsspeicher oder mehr. Damit laufen Modelle bis etwa 20 Milliarden Parameter neben Suche und Transkription. Mit mehr Speicher kannst du größere Modelle betreiben.

Für einen störungsfreien Dauerbetrieb sollte der Mac Studio bei ausgeschaltetem Display nicht in den Ruhezustand gehen und im Router eine feste IP-Adresse bekommen.

12Betrieb

kayetana ist auf geringen Pflegeaufwand ausgelegt. Alle Dienste laufen ohne Administratorrechte im Benutzerkonto des Mac Studio.

• Installation per Skript: Ein Einrichtungsskript installiert die Laufzeit, baut die Anwendung und richtet App, HTTPS-Proxy und Backup als Dienste ein. Ein zweites Skript installiert Ollama und lädt die Modelle passend zum Arbeitsspeicher.
• Updates: Dasselbe Skript spielt auch Updates ein. Es baut die neue Version und startet die Dienste neu. Datenbank und Dateien bleiben dabei erhalten.
• Backup: Jeden Tag um 3:15 Uhr sichert ein Job die Datenbank konsistent sowie Datasets und Klassifikatoren. Sicherungen älter als 14 Tage werden gelöscht.
• Wiederherstellung: Datenbank und Dateien aus einer Sicherung zurück an den ursprünglichen Ort kopieren und die App neu starten.
• Neustarts: Nach einem Neustart oder Stromausfall starten alle Dienste von selbst. Stürzt ein Dienst ab, wird er automatisch neu gestartet.

13Integration per API

Alle Funktionen stehen über eine REST-API unter /v2 zur Verfügung. Anwendungen authentifizieren sich mit einem API-Key im Header (Authorization: Bearer). Antworten kommen als JSON, der Chat auf Wunsch als Stream per Server-Sent Events. Der Playground zeigt zu jeder Anfrage den passenden Code.

14Einführung in vier Schritten

• 1. Gespräch und Demo: Wir zeigen dir die Plattform in 30 Minuten mit deinen eigenen Beispielen und klären, welche Aufgaben du zuerst angehen willst.
• 2. Hardware und Einrichtung: Du stellst einen Mac Studio bereit. kayetana wird per Skript eingerichtet, die Modelle werden geladen, und das Stammzertifikat wird auf den Rechnern im Team hinterlegt.
• 3. Team und Regeln: Du lädst dein Team ein, vergibst Rollen, legst Aufbewahrungsfristen fest und erstellst API-Keys mit Monatslimit.
• 4. Erste Anwendungen: Dein Team arbeitet im Playground, Vorlagen werden geteilt, und die ersten Anwendungen werden über die API angebunden. Die Nutzungsstatistik zeigt, was sich bewährt.

15Grenzen und ehrliche Einordnung

kayetana ist bewusst auf einen Rechner im eigenen Haus ausgelegt. Daraus ergeben sich Grenzen, die du vor einer Entscheidung kennen solltest.

• Sehr große Modelle brauchen mehr Arbeitsspeicher, als ein Mac Studio in der empfohlenen Ausstattung bietet. Für solche Modelle brauchst du mehr Speicher oder einen Cloud-KI-Dienst.
• Rerank arbeitet über die Ähnlichkeit von Embeddings mit bge-m3. Ein eigenes Cross-Encoder-Modell ist nicht enthalten.
• Fine-tuning von Chat-Modellen ist derzeit für qwen3:4b-instruct verfügbar.
• Die Bedienoberfläche ist derzeit auf Deutsch.
• Ollama und Zusatzdienst haben keine eigene Anmeldung. Sie sind deshalb nur lokal auf dem Mac Studio erreichbar; wer Zugriff auf diesen Rechner hat, hat auch Zugriff auf die Modelle. Schütze den Rechner entsprechend (Benutzerkonten, physischer Zugang).
• Backups liegen auf derselben Platte wie die Daten. Gegen den Ausfall des Geräts hilft nur ein zusätzliches externes Backup.
• Wie jedes Sprachmodell können auch die Modelle in kayetana Fehler machen. Die Quellenangaben helfen beim Prüfen, ersetzen die Prüfung aber nicht.
• kayetana ist kein Ersatz für Rechtsberatung. Die Plattform unterstützt dich beim Datenschutz, eine Garantie für die Einhaltung der DSGVO gibt sie nicht.

16Kontakt

kayetana wird von der neonotu GmbH entwickelt. Den Preis nennen wir dir auf Anfrage. Es ist eine Pauschale für die Plattform, ohne Abrechnung pro Token oder Nutzer.

neonotu GmbH, Edelsbergstraße 8, 80686 München. Telefon +49 89 2000 7975 0. Oder schreib uns über das Kontaktformular auf der Website.