KI-Glossar: 30 Begriffe für Entscheider, kurz erklärt

Dieses Glossar erklärt 30 KI-Begriffe aus Angeboten, Verträgen und Projektbesprechungen. Jeder Eintrag beschreibt, was der Begriff bedeutet und worauf Sie als Entscheider achten sollten. Die Begriffe sind nach Themen sortiert, nicht alphabetisch.

Modelle und Technik

Künstliche Intelligenz (KI)

Sammelbegriff für Software, die Aufgaben löst, für die man bisher menschliches Urteil brauchte, etwa Texte verstehen, Bilder erkennen oder Entscheidungen vorbereiten. Wenn heute im Unternehmen von KI die Rede ist, sind meist Sprachmodelle gemeint.

Sprachmodell (LLM)

Ein Large Language Model ist ein Modell, das mit sehr vielen Texten trainiert wurde und auf dieser Grundlage Text erzeugt. Bekannte Modellfamilien sind GPT von OpenAI, Claude von Anthropic, Gemini von Google sowie offene Modelle wie Llama oder Mistral. Für Ihr Projekt zählt weniger der Name als die Frage, wo das Modell läuft und wer Ihre Eingaben sehen kann.

Prompt

Die Anweisung an ein Sprachmodell: Aufgabe, Kontext und gewünschtes Format. In einer fertigen KI-Lösung sind Prompts Teil der Software. Sie sollten wie Code versioniert, getestet und an Sie übergeben werden.

Token

Die Einheit, in der Sprachmodelle Text verarbeiten und abrechnen. Ein Token entspricht grob einem Wortteil, im Deutschen sind es oft drei bis vier Zeichen. Modellkosten werden pro Million Tokens für Eingabe und Ausgabe berechnet.

Kontextfenster

Die Textmenge, die ein Modell in einer Anfrage gleichzeitig berücksichtigen kann, gemessen in Tokens. Ein großes Kontextfenster erlaubt es, lange Verträge oder ganze Akten in einer Anfrage zu übergeben. Mehr Kontext kostet aber mehr und macht Antworten nicht automatisch genauer.

Halluzination

Eine Antwort, die überzeugend klingt, aber falsch oder erfunden ist. Halluzinationen lassen sich nicht ganz verhindern, aber durch Quellenangaben, Prüfregeln und menschliche Freigaben vor folgenreichen Schritten eingrenzen.

Inferenz

Das Ausführen eines fertig trainierten Modells, etwa bei einer einzelnen Anfrage. Wenn ein Anbieter von Inferenz in Deutschland spricht, heißt das, dass die Anfragen in einem deutschen Rechenzentrum verarbeitet werden.

Open-Weight-Modell

Ein Modell, dessen Gewichte veröffentlicht sind, sodass Sie es auf eigenen Servern betreiben können. Die Gewichte sind die beim Training erlernten Modellparameter. Der eigene Betrieb hilft bei sensiblen Daten, erfordert aber passende Hardware und jemanden, der das Modell betreibt und aktualisiert.

Fine-Tuning

Das Nachtrainieren eines Modells mit eigenen Beispielen, damit es einen Stil oder ein Format besser trifft. Für die meisten Mittelstandsprojekte ist es nicht nötig. Gute Prompts und RAG reichen fast immer und sind leichter zu ändern.

Embedding

Eine Zahlenreihe, die die Bedeutung eines Textabschnitts beschreibt. Ähnliche Inhalte haben ähnliche Embeddings. Damit findet eine Suche passende Stellen auch dann, wenn andere Wörter verwendet werden.

RAG (Retrieval-Augmented Generation)

Bevor das Modell antwortet, sucht ein System passende Abschnitte aus Ihren eigenen Dokumenten und gibt sie dem Modell mit. Die Antwort stützt sich dann auf Ihr Wissen und kann die Quelle nennen. So arbeiten die meisten Wissensassistenten im Unternehmen.

OCR und Dokumentenverarbeitung

OCR steht für optische Zeichenerkennung und erkennt Text in Scans und Fotos. Moderne Lösungen erfassen außerdem die Struktur eines Dokuments und ordnen zu, welche Zahl der Rechnungsbetrag ist und welche die Bestellnummer. Das ist die Grundlage für Rechnungsprüfung und Auftragserfassung.

Anwendungen

KI-Assistent

Ein Chat-Werkzeug für einzelne Personen, etwa ChatGPT, Claude oder Microsoft 365 Copilot. Es hilft beim Schreiben, Zusammenfassen und Suchen. Ein Assistent übernimmt aber keinen Prozess; die Person steuert die Arbeit.

KI-Lösung

Software, die einen bestimmten Vorgang im Unternehmen übernimmt oder vorbereitet, zum Beispiel aus Auftragsmails Entwürfe im ERP-System anlegt, der Software zur Planung und Verwaltung betrieblicher Abläufe. Sie ist mit Ihren Systemen verbunden, hat Prüfpunkte und wird an Ihren echten Fällen getestet.

KI-Agent

Ein Programm, das mit einem Sprachmodell selbst Zwischenschritte plant und Werkzeuge nutzt, etwa eine Suche, eine Datenbank oder eine Schnittstelle zur Kundenverwaltung (CRM). Je mehr ein Agent selbst darf, desto wichtiger sind eng begrenzte Rechte, Protokolle und Freigaben vor Schritten mit Außenwirkung.

Skill

Ein Paket aus Anweisungen, Beispielen und Vorlagen, das einem KI-Assistenten eine wiederkehrende Aufgabe beschreibt, etwa „Angebot im Firmenformat erstellen“. Skills werden in einer Datei mit dem Namen SKILL.md beschrieben. Claude liest dieses Format, Microsoft und OpenAI unterstützen es inzwischen ebenfalls. Wie Unternehmen Skills sammeln und freigeben, zeigt unser Skill Hub.

MCP (Model Context Protocol)

Ein offener Standard, über den KI-Assistenten auf Werkzeuge und Daten zugreifen, etwa auf ein Ticketsystem oder eine Datenbank. Ein MCP-Server stellt diese Werkzeuge bereit. Prüfen Sie bei jedem Server, welche Rechte er hat und wer ihn betreibt.

Copilot-Agent

Ein in Microsoft 365 Copilot eingebundener Agent mit festen Anweisungen und ausgewählten Wissensquellen, etwa einem SharePoint-Ordner. Er wird im Microsoft-365-Admin-Center für die Organisation freigegeben.

Betrieb und Kontrolle

Human-in-the-Loop

Ein Mensch prüft und entscheidet an festgelegten Stellen, bevor ein Ergebnis nach außen geht oder gebucht wird. Wie Sie diese Stellen sinnvoll festlegen, steht in unserem Beitrag zu Human-in-the-Loop.

Guardrails

Regeln, die eine KI-Lösung begrenzen, zum Beispiel erlaubte Themen, Pflichtfelder, Betragsgrenzen oder gesperrte Aktionen. Sie fangen bekannte Fehler ab, ersetzen aber keine Prüfung durch Menschen.

Evaluation

Das systematische Testen einer KI-Lösung an einer festen Sammlung echter Fälle mit bekannter richtiger Antwort. Eine Evaluation zeigt, wie oft die Lösung richtig liegt und ob ein Modell-Update etwas verschlechtert.

On-Premises

Betrieb auf den eigenen Servern des Unternehmens statt in einer Cloud. Das gibt die meiste Kontrolle über Daten, erfordert aber Hardware und Aufwand für den Betrieb.

Schatten-KI

KI-Werkzeuge, die Beschäftigte ohne Freigabe nutzen, oft mit privaten Konten. Verbote helfen selten. Besser wirken ein freigegebenes Werkzeug, klare Regeln und Schulung.

Recht und Datenschutz

AI Act (KI-Verordnung)

Die Verordnung (EU) 2024/1689 regelt KI-Systeme nach Risiko. Für die meisten Büroanwendungen im Mittelstand gelten vor allem Pflichten zur KI-Kompetenz und zur Transparenz. Strenge Pflichten treffen Hochrisiko-Systeme.

KI-Kompetenz

Nach Art. 4 der KI-Verordnung ergreifen Anbieter und Betreiber von KI-Systemen Maßnahmen, die die KI-Kompetenz ihres Personals fördern. Seit der Änderung durch die Verordnung (EU) 2026/1744 im Juli 2026 ist das eine Pflicht zum Bemühen, kein vorgeschriebenes Niveau. In der Praxis heißt das: Schulung passend zur Rolle und ein interner Nachweis. Eine Vorlage dafür steht im Beitrag zum KI-Schulungsnachweis.

Hochrisiko-KI

KI-Systeme in Bereichen, die der AI Act ausdrücklich nennt, zum Beispiel Bewerberauswahl, Kreditwürdigkeit oder kritische Infrastruktur. Für sie gelten Pflichten zu Risikomanagement, Dokumentation und menschlicher Aufsicht. Typische Back-Office-Prozesse wie Rechnungsprüfung oder Auftragserfassung gehören in der Regel nicht dazu.

AVV (Auftragsverarbeitungsvertrag)

Ein Vertrag nach Art. 28 DSGVO mit jedem Dienstleister, der personenbezogene Daten in Ihrem Auftrag verarbeitet, also auch mit dem Anbieter des Sprachmodells. Fehlt der AVV, sollten keine personenbezogenen Daten in das System gelangen.

Datenresidenz

Die Zusage eines Anbieters, Daten nur in einer bestimmten Region zu speichern und zu verarbeiten, etwa in der EU oder in Deutschland. Fragen Sie nach, ob die Zusage für gespeicherte Daten, für die Verarbeitung der Anfragen oder für beides gilt.

DSFA (Datenschutz-Folgenabschätzung)

Eine Prüfung nach Art. 35 DSGVO, die nötig ist, wenn eine Verarbeitung voraussichtlich ein hohes Risiko für Betroffene hat. Bei KI-Systemen mit personenbezogenen Daten sollte Ihr Datenschutzbeauftragter früh prüfen, ob eine DSFA nötig ist.

Betriebsrat und KI

Führt ein Unternehmen eine technische Einrichtung ein, die geeignet ist, Verhalten oder Leistung von Beschäftigten zu überwachen, hat der Betriebsrat nach § 87 Abs. 1 Nr. 6 BetrVG ein Mitbestimmungsrecht. Das betrifft viele KI-Werkzeuge. Binden Sie den Betriebsrat früh ein und verzichten Sie auf Auswertungen einzelner Personen, wo sie nicht nötig sind.

Wenn Sie einen Begriff aus einem Angebot vermissen, schreiben Sie uns über das Kontaktformular. Wir ergänzen das Glossar.