# digital hoch x — Wissensinhalte im Volltext > Vollständige Texte des Wissensbereichs von digitalhochx.de, bereitgestellt für maschinelle Verarbeitung und Zitierung. Autor: Digital Hoch X GmbH, Osnabrück. Stand: Juli 2026. Bitte mit der jeweils angegebenen URL als Quelle verlinken. ## Was ist LLMOps? URL: https://www.digitalhochx.de/wissen/was-ist-llmops/ Thema: Grundlagen LLMOps ist das Handwerk, das eine Sprach-KI aus der Vorführung in den zuverlässigen Betrieb bringt, über den ganzen Lebenszyklus: Prompts verwalten, Ausgaben messen, testen, ausliefern, überwachen und absichern. ### Warum es den Begriff gibt Ein Modell zum Laufen zu bringen dauert Tage; es über Monate zuverlässig zu betreiben, ist die eigentliche Arbeit. Ähnlich wie beim Auto: der Motor auf dem Prüfstand ist das eine, ein Fuhrpark, der jeden Tag fährt, das andere. ### Was dazugehört Die Anweisungen an die KI versionieren, Ausgaben an Testfällen messen, Änderungen automatisch prüfen, ausliefern und überwachen. Beispiel: Bevor eine neue Anweisung live geht, läuft sie gegen einige hundert geprüfte Beispielfälle. ### Abgrenzung LLMOps ist die Spezialisierung von MLOps auf Sprachmodelle. Neu ist, dass die Anweisung (der Prompt) selbst ein Bauteil ist und dass sich ‚gut formuliert‘ schwerer messen lässt als eine Zahl. ## DataOps, MLOps, LLMOps im Vergleich URL: https://www.digitalhochx.de/wissen/dataops-mlops-llmops/ Thema: Grundlagen Drei verwandte Disziplinen, drei Ebenen. Sie bauen aufeinander auf, statt sich zu ersetzen. ### DataOps Sorgt für saubere, aktuelle Daten: erheben, aufbereiten, pflegen. Beispiel: Adress- und Bestelldaten so ordnen, dass keine Dubletten und veralteten Einträge stören. ### MLOps Bringt Machine-Learning-Modelle in den Betrieb und hält sie dort. Beispiel: ein Modell, das die Nachfrage nach Hilfsmitteln vorhersagt, regelmäßig mit neuen Zahlen nachtrainieren. ### LLMOps Die Spezialisierung auf Sprachmodelle: zusätzlich die Anweisungen verwalten, Textqualität bewerten und mit festen Regeln falsche Ausgaben abfangen. Beispiel: prüfen, dass eine erzeugte Produktbeschreibung immer die Pflichtangaben enthält. ## Warum KI-Ausgaben manchmal falsch sind URL: https://www.digitalhochx.de/wissen/warum-ki-fehler-macht/ Thema: Grundlagen Sprachmodelle sagen das nächste Wort voraus. Sie erzeugen flüssigen Text, auch wenn die Fakten nicht stimmen, das nennt man Halluzination. ### Der Grund Ein Modell kennt keine Wahrheit, nur Wahrscheinlichkeiten aus Trainingsdaten; fehlt eine Information, füllt es die Lücke plausibel, aber vielleicht falsch. Beispiel: Nach einem Aktenzeichen gefragt, ‚erfindet‘ es eines, das echt aussieht. ### Warum die Vorführung trotzdem überzeugt Einzelne Beispiele gelingen fast immer; erst im Dauerbetrieb mit vielfältigen Eingaben zeigen sich die Schwankungen. Beispiel: Die Vorführung mit drei sauberen Anfragen gelingt, der Posteingang mit tausend unsauber formulierten Anfragen nicht. ### Was hilft Nicht das Modell allein entscheiden lassen: Ein fester Prüfschritt kontrolliert jede Ausgabe gegen Regeln, bevor sie herausgeht. Wie das Vier-Augen-Prinzip, nur automatisch. ## Das Zwei-Schichten-Prinzip URL: https://www.digitalhochx.de/wissen/zwei-schichten-prinzip/ Thema: Zuverlässige Ergebnisse Die KI entscheidet nie allein. Zwei Schichten arbeiten zusammen: Die Sprach-KI formuliert, ein fester Prüfschritt kontrolliert. ### Schicht 1 — die Sprach-KI Die Sprach-KI versteht die Anfrage und formuliert einen Vorschlag, flexibel, aber nicht garantiert korrekt. Beispiel: Sie liest eine E-Mail und schlägt die passende Kategorie samt Antwort vor. ### Schicht 2 — der Prüfschritt Ein fester, regelbasierter Schritt prüft jedes Ergebnis gegen klare Vorgaben und ein festes Format. Beispiel: Nur erlaubte Kategorien werden akzeptiert; ‚fast richtig‘ zählt nicht und geht zurück. ### Das Ergebnis Reproduzierbare, zuverlässige Ausgaben, statt sich auf ein schwankendes Modell zu verlassen. Zweimal dieselbe Anfrage ergibt dasselbe geprüfte Ergebnis. ## Guardrails & Prüfschritt URL: https://www.digitalhochx.de/wissen/guardrails/ Thema: Zuverlässige Ergebnisse Guardrails sind feste Regeln, die jede KI-Ausgabe einhalten muss. Sie sind die zweite Schicht, die vor der Auslieferung kontrolliert. ### Was sie prüfen Format und Struktur, erlaubte Werte, Vollständigkeit, verbotene Inhalte, alles, was eindeutig regelbar ist. Beispiel: Eine Hilfsmittelnummer muss dem festen Zahlenformat entsprechen, sonst wird sie abgewiesen. ### Strukturierte Ausgaben Statt Freitext gibt die KI ein festes Format zurück, etwa Felder mit definierten Werten. Das macht die Prüfung eindeutig, wie ein Formular mit Pflichtfeldern statt eines freien Briefs. ### Bei einem Verstoß Die Ausgabe wird abgewiesen, korrigiert oder erneut angefordert; Ungeprüftes erreicht nie den Nutzer. Beispiel: Fehlt ein Pflichtfeld, fragt das System nach, statt Halbfertiges anzuzeigen. ## Evaluierung & Ground Truth URL: https://www.digitalhochx.de/wissen/evaluierung/ Thema: Zuverlässige Ergebnisse Evaluierung misst, ob die KI richtig liegt. Maßstab ist ein Satz geprüfter Beispiele, die Ground Truth. ### Ground Truth Eine Sammlung von Eingaben mit bekannter, korrekter Antwort, der Maßstab. Beispiel: hundert echte Anfragen, bei denen ein Fachmann die richtige Antwort vorab festgelegt hat. ### Wie gemessen wird Automatische Metriken, Regelprüfungen oder ein zweites Modell als Prüfer (LLM-as-Judge). Ergebnis ist eine Qualitätszahl statt Bauchgefühl, etwa ‚94 von 100 Fällen korrekt‘. ### Wozu Vor jeder Änderung lässt sich belegen, ob die Qualität steigt oder fällt. Beispiel: Eine neue Anweisung wird nur übernommen, wenn sie in der Messung besser abschneidet als die alte. ## Routing & Fallback URL: https://www.digitalhochx.de/wissen/routing-fallback/ Thema: Zuverlässige Ergebnisse Nicht jede Anfrage braucht dasselbe Modell. Routing schickt sie an das passende; Fallback fängt Ausfälle ab. ### Routing Einfache Aufgaben an ein kleines, günstiges Modell, schwierige an ein starkes. Beispiel: Eine Stichwort-Sortierung braucht kein Spitzenmodell, eine heikle Formulierung schon, das spart Kosten. ### Fallback Fällt ein Modell oder Anbieter aus, übernimmt automatisch ein anderes. Beispiel: Ist ein Dienst kurz nicht erreichbar, läuft die Anfrage über einen zweiten weiter, ohne Ausfall. ### Warum das zählt Verfügbarkeit und Kostenkontrolle sind im Dauerbetrieb so wichtig wie die Antwortqualität. Ein System, das nachts stillsteht, hilft niemandem. ## Observability & Tracing URL: https://www.digitalhochx.de/wissen/observability-tracing/ Thema: Betrieb & Überwachung Observability ist die Fähigkeit, jederzeit nachsehen zu können, was die KI getan hat. Tracing ist die Spur einer einzelnen Anfrage. ### Tracing Für jede Anfrage wird festgehalten: welches Modell, welche Version der Anweisung, welche Quelle, welches Ergebnis. Beispiel: Zu einer strittigen Antwort lässt sich Wochen später zeigen, wie sie zustande kam. ### Observability Aus vielen Spuren entsteht das Gesamtbild: Wo hakt es, welche Fälle scheitern, wo lohnt eine Verbesserung. Wie eine Fehlerübersicht, die Muster sichtbar macht. ### Unterschied zur Überwachung Normale Überwachung sieht nur, ob etwas lief; Observability zeigt, warum ein Ergebnis so ausfiel. Der Unterschied zwischen ‚Server läuft‘ und ‚Antwort war korrekt‘. ## Monitoring & Drift URL: https://www.digitalhochx.de/wissen/monitoring-drift/ Thema: Betrieb & Überwachung Monitoring beobachtet die KI im Betrieb, nicht nur Tempo und Kosten, sondern die Qualität jeder Antwort. Drift ist ihr schleichender Verfall. ### Was Drift ist Die Welt ändert sich, die Eingaben auch; ein Modell, das gestern passte, kann heute daneben liegen. Beispiel: Ein neues Produkt taucht in Anfragen auf, das die KI noch nicht kennt. ### Wie man ihn erkennt Laufende Qualitätsmessung an frischen Fällen deckt Abweichungen auf, bevor sie im Alltag auffallen. Beispiel: Sinkt die Trefferquote über Wochen langsam, schlägt das Monitoring an. ### Die Reaktion Anpassen, neu bewerten, ausliefern, der Kreislauf schließt sich mit CI/CD. So bleibt die Qualität stabil, statt langsam abzurutschen. ## CI/CD für KI URL: https://www.digitalhochx.de/wissen/cicd-fuer-ki/ Thema: Betrieb & Überwachung CI/CD ist der automatische Weg einer Änderung in den Betrieb, mit einer festen Qualitätsprüfung davor. Nichts wird ausgeliefert, das die Prüfung nicht besteht. ### Continuous Integration Jede Änderung an Anweisung oder Modell läuft automatisch gegen die Testfälle; verschlechtert sich die Qualität, wird sie blockiert. Wie eine Sicherung, die auslöst, bevor Schaden entsteht. ### Continuous Delivery Besteht die Prüfung, wird die Änderung kontrolliert ausgeliefert, nachvollziehbar und rückrollbar. Beispiel: Zeigt sich ein Problem, geht es mit einem Schritt zurück zur letzten guten Version. ### Warum das zählt Verbesserungen kommen schnell und sicher in den Betrieb, ohne Risiko durch ungeprüfte Änderungen. Keine Auslieferung auf Verdacht. ## Warum KI-Betrieb in Deutschland? URL: https://www.digitalhochx.de/wissen/ki-betrieb-deutschland/ Thema: Sicherheit & Datenschutz Wo eine KI läuft, entscheidet, wer auf die Daten zugreifen darf. Betrieb in Deutschland hält sie im deutschen und europäischen Rechtsraum. ### Der Unterschied Bei US-Anbietern können Daten dem Zugriff nach US-Recht unterliegen; Betrieb in Deutschland vermeidet das. Beispiel: Patienten- oder Personaldaten bleiben im deutschen Rechtsraum. ### Was möglich ist Eigene Infrastruktur statt Weiterreichen an große Plattformen, auf Wunsch vollständig in Deutschland. Wie die Wahl zwischen eigenem Serverraum und fremdem Rechenzentrum im Ausland. ### Für wen wichtig Überall dort, wo sensible oder personenbezogene Daten verarbeitet werden. Beispiel: Gesundheitswesen, Personalabteilung, Rechtsberatung. ## DSGVO by Design bei KI URL: https://www.digitalhochx.de/wissen/dsgvo-by-design/ Thema: Sicherheit & Datenschutz Datenschutz ist keine Ergänzung am Ende, sondern Teil des Entwurfs. By Design heißt: von Anfang an mitgedacht. ### Was das bedeutet Datensparsamkeit, klare Zwecke, Verschlüsselung und Zugriffskontrolle sind eingebaut, nicht nachgerüstet. Beispiel: Es werden nur die Felder erhoben, die die Aufgabe benötigt. ### Auftragsverarbeitung Wo Dienstleister eingebunden sind, gelten Auftragsverarbeitungs-Verträge und, wo nötig, EU-Standardvertragsklauseln. So ist geregelt, wer was mit den Daten tun darf. ### Der Vorteil Weniger Risiko, klare Nachweise, ein System, das einer Prüfung standhält. Beispiel: Bei einer Datenschutz-Anfrage lässt sich lückenlos zeigen, was mit welchen Daten geschah. ## KI mit sensiblen Daten URL: https://www.digitalhochx.de/wissen/ki-sensible-daten/ Thema: Sicherheit & Datenschutz Gesundheits-, Personal- oder Finanzdaten verlangen besondere Sorgfalt. KI ist damit möglich, wenn der Betrieb stimmt. ### Die Anforderungen Zugriff nur für Berechtigte, Trennung der Mandanten, Protokollierung, Daten, die den Rechtsraum nicht verlassen. Beispiel: Ein Sanitätshaus sieht nur seine eigenen Fälle, keine fremden. ### Technisch Der Prüfschritt verhindert, dass sensible Inhalte falsch verarbeitet oder ungeprüft ausgegeben werden. Beispiel: Eine Diagnose-Angabe wird nie ungeprüft in einen Text übernommen. ### In der Praxis Wir kommen aus dem Gesundheitswesen; dieser Anspruch ist für uns Ausgangspunkt, nicht Zusatz. Wer mit Patientendaten anfängt, für den ist alles andere einfacher. ## Glossar: KI- und LLMOps-Begriffe URL: https://www.digitalhochx.de/wissen/glossar/ - Software-Audit: Die unabhängige Prüfung bestehender Software auf Sicherheit, Datenschutz und Belastbarkeit. - Sanierung: Das Beheben der im Audit festgestellten Mängel, nach Schwere geordnet. - Befundliste: Das Ergebnis des Audits: jeder Fund mit Fundstelle, Schwere und Aufwand. - Technische Schuld: Aufwand, der durch schnelles Bauen entsteht und später mit Zinsen fällig wird. - Guardrail: Eine feste Regel, die jede KI-Ausgabe einhalten muss, bevor sie herausgeht. - Ground Truth: Geprüfte Beispiele mit bekannter richtiger Antwort, der Maßstab für Qualität. - Evaluierung: Die Messung, ob eine KI-Ausgabe richtig ist, an festen Testfällen. - Observability: Die Fähigkeit, jederzeit nachzuvollziehen, was die KI getan hat. - Tracing: Die lückenlose Aufzeichnung einer einzelnen Anfrage. - CI/CD: Der automatische Weg einer Änderung in den Betrieb, mit einer festen Qualitätsprüfung davor. - Routing: Jede Anfrage geht an das für sie passende Modell. - Fallback: Fällt ein Modell aus, übernimmt automatisch ein anderes. - Drift: Der schleichende Qualitätsverfall, weil sich Daten und Anforderungen ändern. - LLM-as-Judge: Ein zweites Modell bewertet die Ausgabe des ersten. - Prompt-Versionierung: Anweisungen an die KI werden versioniert und getestet wie Code. - Deployment: Die kontrollierte Auslieferung einer geprüften Änderung in den Betrieb. ## Häufige Fragen (FAQ) URL: https://www.digitalhochx.de/faq/ ### Was kostet das Software-Audit und wie lange dauert es? Das Software-Audit kostet 1.500 Euro netto, das Ergebnis liegt nach 5 Werktagen vor. Enthalten sind Befundliste, Sicherheits- und Datenschutz-Prüfung, Aufwandsschätzung und die Durchsprache mit Ihnen. Bei umfangreichen Systemen staffeln wir nach Aufwand und nennen den Preis im Erstgespräch, bevor Sie zusagen. ### Wir haben unsere Anwendung selbst mit KI gebaut. Ist das ein Problem? Nein, das ist der Normalfall geworden. KI-Werkzeuge liefern schnell lauffähigen Code; was sie nicht liefern, ist die Prüfung, ob er sicher ist und beim Wachsen hält. Genau das schauen wir uns an. ### Bekommen wir den Code und die Ergebnisse, auch wenn wir danach nicht weiterarbeiten? Ja. Die Befundliste und die Aufwandsschätzung gehören Ihnen. Sie können die Befunde selbst beheben, Ihre Entwickler damit beauftragen oder die Sanierung an uns vergeben. Wir schicken kein Angebot hinterher, das Sie nicht angefragt haben. ### Was, wenn das Audit nichts Schwerwiegendes findet? Dann bekommen Sie genau das schriftlich, und Sie wissen, dass Sie weiterbauen können. Ein Audit, das nichts findet, ist kein verlorenes Geld, sondern eine belegte Entwarnung. Ob wir das erwarten, sagen wir Ihnen schon im Erstgespräch. ### Was ist LLMOps, und warum brauche ich das? In der Vorführung funktioniert KI schnell; im Alltag schwankt sie. LLMOps ist das Handwerk, das KI im laufenden Betrieb zuverlässig macht, jede Ausgabe wird geprüft, gemessen und überwacht. ### Bleiben unsere Daten in Deutschland? Wir betreiben in Deutschland und der EU, DSGVO-konform. Wo Auftragsverarbeiter eingebunden sind, gelten Auftragsverarbeitungs-Verträge und EU-Standardvertragsklauseln. Auf Wunsch richten wir den Betrieb vollständig in Deutschland ein. ### Müssen wir unsere KI komplett neu bauen? Nein. Wir machen auch bestehende KI zuverlässig, oder entwickeln die Anwendung individuell, je nach Bedarf. ### Für welche Branchen arbeiten Sie? Wir kommen aus dem Gesundheitswesen (Sanitätshäuser und Apotheken), der am stärksten regulierten Branche. Das Vorgehen ist branchenunabhängig. ### Was kostet das und wie läuft es ab? Nach einem 15-minütigen Erstgespräch erhalten Sie eine klare Aufwandsschätzung und ein transparentes Angebot. Vorher sagen wir ehrlich, ob Ihr Vorhaben zu uns passt.