KI lokal betreiben statt Cloud: wann sinnvoll für KMU?
Kurz gesagt: Ein lokal betriebenes KI-Modell lohnt sich für klar umrissene, wiederkehrende Aufgaben wie Texte zusammenfassen, Dokumente durchsuchen oder Daten sortieren – besonders, wenn Inhalte das Haus nicht verlassen sollen oder sehr viele Anfragen anfallen. Für anspruchsvolle, offene Aufgaben sind große Cloud-Modelle meist leistungsfähiger und einfacher zu nutzen. Der eigentliche Aufwand liegt weniger in der Installation als in passender Hardware, Wartung und der ehrlichen Prüfung, ob die Qualität reicht.
Die Frage kommt in vielen Betrieben irgendwann auf: Muss jede Anfrage an einen Cloud-Dienst gehen, oder geht das auch auf einem Rechner im eigenen Büro? Technisch ist die Hürde gesunken. Werkzeuge wie Ollama installieren sich laut eigener Anleitung mit einem Befehl auf macOS, Windows und Linux oder als Docker-Container, und die Modellbibliothek listet zahlreiche offene Modellfamilien, etwa Llama, Qwen, Gemma oder DeepSeek, in verschiedenen Größen. Ob es sich für Ihren Betrieb lohnt, ist eine andere Frage.
Lokal oder Cloud im direkten Vergleich
| Kriterium | Lokales Modell | Cloud-Modell |
|---|---|---|
| Leistungsfähigkeit | gut bei klar umrissenen Aufgaben, kleinere Modelle mit Grenzen | in der Regel stärker bei komplexen, offenen Aufgaben |
| Einstieg | Hardware beschaffen, Software installieren, Modell auswählen | Konto anlegen, sofort nutzbar |
| Laufender Aufwand | Updates, Modellwechsel, Hardwarepflege selbst | übernimmt der Anbieter |
| Kostenstruktur | einmalige Hardware plus Strom und Betreuung | nutzungsabhängige Gebühren oder Abos |
| Verfügbarkeit | auch ohne Internetverbindung, aber abhängig von eigener Technik | abhängig von Internet und Anbieter |
| Skalierung | begrenzt durch eigene Hardware | flexibel |
| Datenfluss | Daten bleiben auf eigener Infrastruktur | Daten werden an den Anbieter übertragen |
| Anpassung | volle Kontrolle über Modell und Version | Anbieter kann Modelle ändern oder einstellen |
Ein Hinweis zum Datenfluss: Wer lokal arbeitet, behält die Daten im eigenen Netz, muss deren Schutz dann aber auch vollständig selbst organisieren.
Welche Aufgaben sich für lokale Modelle eignen
Lokale Modelle spielen ihre Stärken bei Aufgaben aus, die immer ähnlich ablaufen und sich gut prüfen lassen:
- Zusammenfassen von Protokollen, E-Mails oder Berichten
- Klassifizieren und Sortieren, etwa eingehende Anfragen nach Thema
- Informationen extrahieren, zum Beispiel Kundennummer, Datum und Anliegen aus Freitext
- Interne Dokumentensuche, bei der ein Modell auf Ihre eigenen Unterlagen zugreift
- Entwürfe für Standardantworten, die ein Mensch vor dem Versand prüft
Weniger geeignet sind Aufgaben, die breites Weltwissen, lange Argumentationsketten oder sehr hochwertige Texte in vielen Sprachen verlangen. Hier liegen große Cloud-Modelle meist vorn.
Wie viel Hardware nötig ist
Die wichtigste Größe ist der Speicher der Grafikkarte, bei manchen Systemen auch der gemeinsame Arbeitsspeicher. Hugging Face nennt dazu eine Faustregel: Ein Modell mit X Milliarden Parametern braucht in der heute üblichen 16-Bit-Genauigkeit grob 2 × X Gigabyte Grafikspeicher, nur um die Gewichte zu laden. Ein Modell mit 8 Milliarden Parametern bräuchte demnach etwa 16 Gigabyte.
Hinzu kommt Quantisierung: Dabei wird die Genauigkeit der Gewichte reduziert. Laut Hugging Face lassen sich Modellgewichte auf 8 oder 4 Bit verkleinern, ohne dass die Leistung erheblich leidet; noch stärkere Verkleinerung ist mit größeren Abstrichen möglich. So passen Modelle mittlerer Größe auf deutlich bescheidenere Hardware. Längere Eingaben und mehrere gleichzeitige Nutzer erhöhen den Bedarf wieder.
Praktisch bedeutet das: Kleine Modelle laufen auf einem gut ausgestatteten Arbeitsplatzrechner, für größere Modelle oder mehrere Nutzer gleichzeitig braucht es einen eigenen Server mit leistungsstarker Grafikkarte. Bevor Sie Hardware kaufen, testen Sie das Wunschmodell auf vorhandener Technik oder einem gemieteten Rechner.
Einbindung in bestehende Abläufe
Ein lokales Modell ist erst nützlich, wenn es in Ihre Werkzeuge eingebunden ist. Ollama stellt laut Dokumentation lokal eine Programmierschnittstelle bereit und bietet zusätzlich eine Kompatibilitätsschicht im Stil der OpenAI-Schnittstelle an; lokale Anfragen brauchen dort keinen API-Schlüssel. Das erleichtert es, Automatisierungen und Anwendungen, die für Cloud-Modelle gebaut wurden, auf ein lokales Modell umzustellen – oder beide parallel zu nutzen.
Was die Wartung umfasst
Wer KI lokal betreibt, übernimmt Aufgaben, die sonst ein Anbieter erledigt. Dazu gehören Updates der Laufzeitsoftware und des Betriebssystems, die Überwachung von Auslastung und Temperatur des Servers, Datensicherungen der Konfiguration sowie die Entscheidung, wann ein neueres Modell das alte ersetzt. Hinzu kommt der Zugriffsschutz: Ein lokaler Dienst sollte nur aus dem internen Netz erreichbar sein. Legen Sie fest, wer zuständig ist und was passiert, wenn der Server ausfällt – etwa ein automatischer Rückgriff auf ein Cloud-Modell für unkritische Aufgaben.
Die Entscheidung
Ein lokales Modell ist eine gute Wahl, wenn mehrere dieser Punkte zutreffen:
- Die Aufgabe ist klar umrissen und wiederholt sich oft.
- Inhalte sollen das eigene Netz nicht verlassen.
- Es fallen sehr viele Anfragen an, sodass nutzungsabhängige Gebühren spürbar würden.
- Jemand im Team oder ein Dienstleister kann Hardware und Software betreuen.
- Ein Test hat gezeigt, dass die Qualität eines lokalen Modells für die Aufgabe reicht.
Wenn vor allem Punkt 5 offen ist, beginnen Sie mit einem Vergleich: dieselben 20 bis 30 echten Beispiele aus Ihrem Alltag durch ein lokales und ein Cloud-Modell schicken und die Ergebnisse blind bewerten lassen. Oft zeigt sich auch eine Mischlösung als sinnvoll – Routineaufgaben lokal, anspruchsvolle Fälle in der Cloud.
Häufige Fragen
Braucht ein lokales Modell eine Internetverbindung?
Für den Betrieb nicht, nur für das Herunterladen von Software und Modellen. Danach kann es vollständig offline laufen.
Sind offene Modelle schlechter als die bekannten Cloud-Modelle?
Das hängt von Modellgröße und Aufgabe ab. Für eng umrissene Aufgaben reichen kleinere offene Modelle oft aus; bei komplexen Aufgaben sind große Cloud-Modelle meist überlegen. Ein eigener Test mit echten Beispielen ist aussagekräftiger als jede Rangliste.
Wie oft muss ich ein lokales Modell aktualisieren?
Es gibt keine Pflicht. Neue Modellversionen erscheinen aber häufig und sind oft besser. Planen Sie etwa halbjährlich eine Prüfung ein, ob ein Wechsel lohnt, und testen Sie neue Versionen vor dem Umstieg mit Ihren Beispielen.
Kann ich ein lokales Modell mit eigenen Daten trainieren?
Oft ist das gar nicht nötig. Für die Arbeit mit eigenen Unterlagen genügt in vielen Fällen eine Suche, die dem Modell passende Dokumente mitgibt. Echtes Nachtrainieren ist aufwendiger und lohnt sich erst bei sehr speziellen Anforderungen.
Wenn Sie prüfen möchten, ob eine bestimmte Aufgabe in Ihrem Betrieb lokal laufen kann, baue ich gern einen kleinen Vergleichstest mit Ihren eigenen Beispielen auf – der erste Schritt ist eine kurze Anfrage.