← Ratgeber

Klarframe · Ratgeber

KI im Mittelstand einführen: Leitfaden in 5 Schritten

Von Michael Vogel, Mitgründer, Klarframe · Aktualisiert

Mittelständische Unternehmen führen KI am besten in fünf Schritten ein: Bestandsaufnahme, Regeln festlegen, einen Prozess pilotieren, Ergebnisse messen und entscheiden, dann auf derselben Grundlage skalieren. Am Anfang steht ein konkreter Zeitverlust, etwa bei Anfragen, Angeboten oder Protokollen. Gut geeignet sind Prozesse mit klaren Regeln und regelmäßigem Volumen. Vor dem Pilot legen Sie ein Ziel und eine Ausgangskennzahl fest, damit Sie den Nutzen später belegen können. Parallel klären Sie Verantwortung, Datenschutz, freigegebene Tools und die Pflichten aus dem EU AI Act. So entsteht in rund 90 Tagen ein belastbares Ergebnis statt einer Sammlung loser Experimente.

Wo fange ich mit KI im Unternehmen an?

Der beste Startpunkt ist ein Prozess, der heute spürbar Zeit kostet. Fragen Sie in den Teams nach wiederkehrenden Aufgaben, bei denen Menschen viel abschreiben, suchen, zusammenfassen oder dieselben Fragen beantworten. Solche Zeitverluste lassen sich meist schnell benennen und später gut messen.

Wählen Sie für den Einstieg einen Prozess mit klaren Regeln und ausreichendem Volumen. Klare Regeln bedeuten, dass ein erfahrener Mitarbeiter erklären kann, wie ein gutes Ergebnis aussieht. Volumen bedeutet, dass der Vorgang oft genug vorkommt, damit sich eine Verbesserung lohnt und messbar wird.

Legen Sie dann genau ein Ziel fest und erheben Sie eine Ausgangskennzahl, bevor Sie etwas ändern. Beispiele sind die Bearbeitungszeit pro Angebot, der Anteil verpasster Anrufe oder die Minuten pro Meeting-Protokoll. Ohne diese Basis lässt sich der Erfolg eines Piloten später kaum bewerten.

Die Grundlagen: sechs Bereiche der KI-Reife

Ob ein KI-Projekt trägt, hängt weniger vom Tool ab als von den Grundlagen im Unternehmen. Die folgenden sechs Bereiche entsprechen dem Klarframe KI-Readiness-Check:

  • Ziele und Verantwortung: Es gibt ein konkretes Ziel und eine benannte Person, die das Vorhaben verantwortet, Entscheidungen trifft und Zeit dafür hat.
  • Prozesse: Die betroffenen Abläufe sind bekannt und zumindest grob beschrieben. Wer einen Prozess nicht erklären kann, kann ihn auch nicht sinnvoll mit KI unterstützen.
  • Daten und Wissen: Die nötigen Informationen liegen auffindbar und aktuell vor, etwa Preislisten, Produktdaten, Vorlagen oder Antworten auf häufige Fragen.
  • Systeme und Technik: Es ist klar, mit welchen Systemen die KI zusammenarbeiten muss, zum Beispiel E-Mail, Telefonanlage, CRM oder Dokumentenablage, und ob es dafür Schnittstellen gibt.
  • KI-Nutzung heute und Team: Sie wissen, welche KI-Tools bereits genutzt werden, auch privat und ohne Freigabe (Schatten-KI). Firmenkonten ersetzen private Konten, und das Team erhält eine kurze Schulung.
  • Regeln, Datenschutz und Freigaben: Es gibt festgelegte Regeln, welche Daten in welche Tools dürfen, wer neue Tools freigibt und wer KI-Ergebnisse vor dem Versand prüft.

Die 5 Schritte: ein Fahrplan für 90 Tage

Die folgenden fünf Schritte haben sich als Reihenfolge bewährt. Die Zeitangaben sind Richtwerte und hängen von Umfang und Ausgangslage ab.

  • Schritt 1, Bestandsaufnahme (Woche 1 bis 2): Zeitverluste sammeln, vorhandene KI-Nutzung erfassen, die sechs Grundlagenbereiche einschätzen und einen Pilotprozess auswählen.
  • Schritt 2, Regeln festlegen (Woche 2 bis 4): eine einseitige KI-Richtlinie schreiben, freigegebene Tools benennen und Datenklassen definieren, etwa öffentlich, intern und vertraulich, mit klaren Vorgaben, was in welches Tool darf.
  • Schritt 3, einen Prozess pilotieren (Woche 4 bis 10): einen einzigen Prozess mit einem kleinen Team umsetzen, einen Freigabeschritt durch einen Menschen einbauen und Rückmeldungen regelmäßig sammeln.
  • Schritt 4, messen und entscheiden (Woche 10 bis 12): die Kennzahl mit der Ausgangsbasis vergleichen, Qualität und Akzeptanz bewerten und bewusst entscheiden: ausbauen, anpassen oder beenden.
  • Schritt 5, skalieren (ab Woche 12): weitere Prozesse auf derselben Grundlage aufnehmen, also mit denselben Regeln, Konten, Datenklassen und Verantwortlichkeiten.

Typische erste Anwendungsfälle im Mittelstand

Diese Bereiche eignen sich häufig für den Einstieg, weil sie klare Abläufe und regelmäßiges Volumen haben:

  • Telefon und Anfragen: Ein KI-Telefonassistent nimmt Anrufe an, beantwortet Standardfragen, erfasst Anliegen und leitet weiter.
  • Angebote: KI erstellt aus Anfragen und Vorlagen einen Angebotsentwurf, den ein Mitarbeiter prüft und freigibt.
  • Meeting-Protokolle: Besprechungen werden zusammengefasst, Aufgaben und Entscheidungen werden festgehalten.
  • Unternehmenswissen: Mitarbeiter finden Antworten aus Handbüchern, Richtlinien und Projektunterlagen schneller.
  • Dokumente: Rechnungen, Lieferscheine oder Formulare werden ausgelesen, sortiert und in Systeme übertragen.
  • Mehrsprachige Kommunikation: E-Mails, Unterlagen und Gespräche mit Kunden und Partnern im Ausland werden übersetzt.

Recht und Regeln in Kürze

Für die DSGVO zählen vor allem drei Punkte: ein Auftragsverarbeitungsvertrag (AVV) mit dem Anbieter, ein Datenstandort in der EU oder eine andere zulässige Grundlage für die Übermittlung und die Möglichkeit, die Nutzung Ihrer Daten für das Training der Modelle auszuschließen. Personenbezogene Daten gehören nur in Tools, die diese Anforderungen erfüllen.

Der EU AI Act verlangt in Artikel 4 seit dem 2. Februar 2025, dass Unternehmen, die KI einsetzen, für KI-Kompetenz ihrer Beschäftigten sorgen. Der Digital Omnibus von 2026 hat diese Pflicht abgeschwächt: Unternehmen müssen nun Maßnahmen ergreifen, um KI-Kompetenz zu fördern. Eine kurze Schulung und die KI-Richtlinie sind dafür ein guter Anfang.

Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50. Im Kundenkontakt muss erkennbar sein, dass eine KI spricht oder schreibt, etwa am Telefon oder im Chat. Für die maschinenlesbare Markierung KI-generierter Inhalte gilt eine Übergangsfrist bis zum 2. Dezember 2026 für Systeme, die bereits vorher auf dem Markt waren. Einzelheiten erklärt unser separater Klarframe-Leitfaden zu Artikel 50 des EU AI Act.

Dieser Leitfaden ist keine Rechtsberatung. Für verbindliche Einschätzungen zu Ihrem Fall wenden Sie sich an Ihre Rechtsberatung oder Ihren Datenschutzbeauftragten.

Häufige Fehler bei der Einführung

Viele KI-Vorhaben im Mittelstand scheitern an denselben Punkten. Wer sie kennt, kann sie früh vermeiden:

  • Das Tool steht vor dem Problem: Es wird zuerst ein Produkt gekauft und danach ein passender Einsatz gesucht.
  • Niemand ist verantwortlich: Das Vorhaben läuft nebenher, ohne Person mit Zeit und Entscheidungsbefugnis.
  • Es fehlt eine Ausgangskennzahl: Ohne Messung vor dem Start bleibt der Nutzen eine Behauptung.
  • Private Konten: Mitarbeiter nutzen KI mit privaten Zugängen, wodurch Firmendaten ohne Vertrag und Kontrolle abfließen können.
  • Kein Freigabeschritt: KI-Ergebnisse gehen ungeprüft an Kunden, obwohl ein kurzer Blick eines Menschen Fehler abfangen würde.

Standort bestimmen mit dem KI-Readiness-Check

Mit dem kostenlosen Klarframe KI-Readiness-Check prüfen Sie die sechs Grundlagenbereiche für Ihr Unternehmen in etwa zehn Minuten. Sie erhalten sofort ein Ergebnis mit Ihrer Reifestufe, einem 90-Tage-Plan, passenden Lösungen und Hinweisen zum EU AI Act. Auf Wunsch senden wir Ihnen das Ergebnis zusätzlich als PDF.

Häufige Fragen

Wie fange ich mit KI im Unternehmen an?

Beginnen Sie mit einem Prozess, der heute spürbar Zeit kostet, klare Regeln hat und regelmäßig vorkommt, etwa Anfragen, Angebote oder Protokolle. Legen Sie ein Ziel fest und messen Sie den Ausgangswert. Benennen Sie eine verantwortliche Person, schreiben Sie eine kurze KI-Richtlinie und starten Sie einen zeitlich begrenzten Pilot mit einem kleinen Team.

Was kostet der Einstieg in KI?

Die Kosten hängen vom Umfang ab: Anzahl der Prozesse, benötigte Schnittstellen zu bestehenden Systemen, Datenmenge und Betreuungsbedarf. Ein sinnvoller Einstieg ist ein begrenzter Pilot für einen einzigen Prozess. So bleibt der Aufwand überschaubar, und Sie entscheiden auf Basis gemessener Ergebnisse, ob und wie weit Sie ausbauen.

Brauchen wir eine KI-Richtlinie?

Ja, eine kurze KI-Richtlinie ist sinnvoll, sobald Mitarbeiter KI nutzen. Eine Seite genügt für den Anfang. Sie legt fest, welche Tools freigegeben sind, welche Daten in welches Tool dürfen, wer neue Tools genehmigt und dass KI-Ergebnisse vor dem Versand geprüft werden. Die Richtlinie unterstützt auch die Pflicht zur KI-Kompetenz aus dem EU AI Act.

Was müssen KMU beim EU AI Act beachten?

Für die meisten KMU sind zwei Punkte zentral. Artikel 4 verlangt Maßnahmen zur Förderung der KI-Kompetenz der Beschäftigten, etwa Schulungen und klare Regeln. Artikel 50 verlangt seit dem 2. August 2026, dass KI im Kundenkontakt erkennbar ist, zum Beispiel bei Telefonassistenten und Chatbots. Hinzu kommt die DSGVO. Dieser Hinweis ist keine Rechtsberatung.

Wie lange dauert eine KI-Einführung?

Ein erster Pilot mit einem Prozess lässt sich in der Regel in rund 90 Tagen von der Bestandsaufnahme bis zur Entscheidung durchführen. Die Dauer hängt davon ab, wie gut Prozesse beschrieben sind, ob Daten auffindbar vorliegen und welche Systeme angebunden werden müssen. Die Ausweitung auf weitere Prozesse geht danach meist schneller, weil die Grundlagen stehen.

Welche Prozesse eignen sich zuerst für KI?

Am besten eignen sich Prozesse mit klaren Regeln, regelmäßigem Volumen und überschaubarem Risiko. Typische Beispiele im Mittelstand sind Telefon und Anfragen, Angebotsentwürfe, Meeting-Protokolle, die Suche im Unternehmenswissen, das Auslesen von Dokumenten und mehrsprachige Kommunikation. Wichtig ist, dass ein Mensch das Ergebnis vor dem Versand prüfen kann.

Wie messe ich den Erfolg einer KI-Einführung?

Erheben Sie vor dem Start eine Ausgangskennzahl für genau den Prozess, den Sie verbessern wollen, etwa Bearbeitungszeit pro Vorgang, verpasste Anrufe oder Antwortzeit auf Anfragen. Messen Sie dieselbe Kennzahl während und nach dem Pilot. Ergänzen Sie die Zahl um die Qualität der Ergebnisse und die Rückmeldungen des Teams.

  • Klarframe OS →

    Klarframe OS bündelt Wissen aus Dokumenten, E-Mails, Notion, Slack und CRM, belegt es mit Quellen und macht es als Wissenskarte verständlich. So schaffen Sie Transparenz und können agieren statt reagieren.

  • KI-Telefonassistent für eingehende Anrufe →

    Ein KI-Telefonassistent nimmt eingehende Anrufe für Ihr Unternehmen an, erfasst Anliegen und Kontaktdaten und leitet Gespräche bei Bedarf an Ihr Team weiter.

  • Smart Offer Optimizer →

    Aus einem Dokument entsteht ein klar strukturiertes, visuelles Angebot mit öffentlichem Link und PDF-Download. Die KI optimiert und personalisiert dabei auch den Inhalt und macht das Angebot überzeugender.

Klarframe AI Readiness Check

Wie bereit ist Ihr Unternehmen für KI?

Rund zehn Minuten, sofortiges Ergebnis mit Stufe, 90-Tage-Plan, passenden Lösungen und Hinweisen zum EU AI Act.

Check starten

Sie möchten wissen, ob das für Ihr Unternehmen passt? Ihr regionaler Klarframe-Partner berät Sie persönlich.

Gespräch vereinbaren →