Lokale KI mit Ollama für sensible Kundenprozesse
Lokale KI mit Qwen- und Mistral-Modellen: Modelle evaluiert, über Ollama auf eigener Infrastruktur eingebunden und im Team mit Unternehmensdaten angepasst.
- 10+getestete LLMs zur Auswahl geeigneter Modelle für interne Kundenprozesse
- ca. 50Nutzer der lokalen KI-Lösung
Die Ausgangslage
Prozesse mit Kundendaten benötigen einen bewussten Umgang mit Informationen. Für KI-Unterstützung soll die Verarbeitung innerhalb einer kontrollierten Umgebung möglich sein, ohne Eingaben an einen externen KI-Dienst zu übertragen.
Die konkrete Aufgabe
KI für interne Kundenprozesse bereitstellen, bei der sensible Eingaben auf der eigenen Infrastruktur verarbeitet werden.
Meine Rolle
Ich habe über zehn LLMs erprobt, die lokale Lösung entwickelt und Qwen- und Mistral-Modelle mit Ollama eingebunden. Das Fine-Tuning mit Unternehmensdaten wurde im Team durchgeführt.
Eingesetzte Werkzeuge
Einführung & Nutzung
Rund 50 Personen nutzen die angepassten Modelle über Ollama auf eigenen Servern.
KI auf eigener Infrastruktur.
Mit Kontrolle über die Datenwege.
Exemplarischer Ablauf. Mit Unternehmensdaten wurde im Team Fine-Tuning durchgeführt, um die Modelle auf den fachlichen Kontext und die konkreten Aufgaben auszurichten. Zum Einsatz kommen offene Modelle von Qwen und Mistral, die über Ollama für die lokale Nutzung bereitgestellt werden. Die Verarbeitung läuft auf eigenen Servern, sodass sensible Eingaben für die Modellverarbeitung innerhalb der eigenen Infrastruktur bleiben.
Eigene Daten liefern den fachlichen Kontext für die Anpassung der Modelle.
Dieses System ist produktiv im Einsatz. Die Darstellung zeigt das Systemprinzip vereinfacht; Schritte und Verzweigungen sind exemplarisch, interne Konfigurationen und Daten werden nicht veröffentlicht.
Was sich im Arbeitsalltag verändert.
Die Modellverarbeitung bleibt auf eigener Infrastruktur; externe API-Tokengebühren für die lokale Inferenz entfallen. Server, Strom und Administration bleiben eigene Kosten. Fachlich benötigte Informationen werden weiterhin als Kontext bereitgestellt, KI-Ausgaben geprüft.
Einordnung für die Praxis
Technischer Ansatz: vom Modell zum internen Werkzeug
- Modellbasis
- Mehr als zehn LLMs erprobt; offene Modelle der Familien Qwen und Mistral in die lokale Lösung eingebunden. Der Einsatzbereich sind interne Abläufe mit sensiblen Kundeninformationen.
- Fine-Tuning
- Gemeinsame Modellanpassung mit Unternehmensdaten, um das Antwortverhalten auf den fachlichen Kontext auszurichten. Diese Trainingsphase findet vor der Nutzung statt; Ollama übernimmt anschließend die Modellbereitstellung für die Inferenz.
- Kontext & Verarbeitung
- Fine-Tuning und aktueller Aufgabenkontext erfüllen unterschiedliche Aufgaben: Die Anpassung prägt das Modellverhalten; Informationen zur konkreten Anfrage gehören weiterhin in die Eingabe. Die Modellverarbeitung läuft auf eigenen Servern.
- Mein Beitrag
- Modellerprobung, Entwicklung der lokalen Lösung und Einbindung über Ollama. Das Fine-Tuning erfolgte im Team; die Lösung wird von rund 50 Personen genutzt.
Was eine geeignete Modelllösung leisten muss
Für den produktiven Einsatz zählen fachliche Qualität, nutzbare Antwortzeiten und kontrollierte Datenwege gemeinsam. Die folgenden Kriterien machen diese Anforderungen konkret.
Fachliche Qualität
Antworten auf typische Fachfragen müssen korrekt, relevant und nachvollziehbar sein. Fehlende Informationen sollen als Wissenslücke erkennbar bleiben.
Leistung & Ressourcen
Modellgröße, Arbeitsspeicher beziehungsweise VRAM und Antwortzeit müssen zur Serverkapazität passen. Entscheidend ist die nutzbare Qualität unter der erwarteten Last.
Daten & Betrieb
Eingaben, Ausgaben und Protokolle brauchen passende Zugriffsrechte. Lokale Inferenz ersetzt keine fachliche Prüfung und kein kontrolliertes Betriebsmodell.
Strukturierte KI-Ausgaben prüfen.
Prüfe Pflichtfelder und Quellenreferenzen einer JSON-Antwort direkt im Browser. Ändere die Eingabe und sieh, welche Regeln greifen. Die Prüfung bewertet das Antwortformat; die fachliche Richtigkeit wird separat beurteilt.
Prüfergebnis
Starte die Prüfung oder ändere einen Fall.
Zulässige Referenzen in dieser Arbeitsprobe: source-01, source-02.
Prüfvertrag ansehen
{
"fields": [
"answer",
"status",
"sources"
],
"statuses": [
"answered",
"needs_review"
],
"sourceIds": [
"source-01",
"source-02"
],
"maxCharacters": 10000
}Kosten sparen durch lokale Verarbeitung
Mit Ollama auf eigenen Servern entfallen die externen Tokengebühren für die Modellverarbeitung. Die Kosten liegen stattdessen in der eigenen Infrastruktur. Bei passender Auslastung und bereits vorhandenen Servern kann das den laufenden Aufwand reduzieren.
Beispielrechnung und API-Preise ansehen
| Aspekt | OpenAI API | Lokale KI mit Ollama |
|---|---|---|
| Gebühren | Nach Modell und verarbeiteten Tokens | Keine externen Tokengebühren für lokale Inferenz |
| Betrieb | Modellbetrieb durch den Anbieter; eigene Anwendung separat | Eigene Server, Strom, Wartung und Administration |
| Mehr Nutzung | Tokenkosten steigen mit dem Verbrauch | Innerhalb vorhandener Kapazität keine zusätzliche Tokenrechnung; höhere Last kann zusätzliche Hardware erfordern |
Angenommen: 50 Nutzer × 20 Anfragen pro Tag × 20 Arbeitstage = 20.000 Anfragen pro Monat. Je Anfrage: 2.000 Eingabe- und 500 Ausgabetokens.
- 9 US$ / MonatGPT-6 Luna · 0,1 US$ Eingabe / 0,5 US$ Ausgabe je 1 Mio. Tokens
- 180 US$ / MonatGPT-6.1 Sol · 2 US$ Eingabe / 10 US$ Ausgabe je 1 Mio. Tokens
Standardpreise für kurze Kontexte, ohne Cache, Batch-Rabatte oder zusätzliche Tools; Ausgabetokens umfassen gegebenenfalls Reasoning. Lokale Server-, Strom- und Betriebskosten sind separat zu kalkulieren. Die Modelle sind Preisbeispiele, kein Nachweis gleicher Leistung oder einer gemessenen Gesamtersparnis.
Quelle: offizielle OpenAI-API-Preise · Stand 06.10.2026Qualitätskontrolle & Grenzen
Prüffragen zum exemplarischen Ablauf: Wie gut beantworten die Modelle fachliche Testfragen? Welche Antwortzeiten und welcher Speicherbedarf sind für die eigenen Server tragbar? Bleiben Eingaben, Ausgaben und Protokolle innerhalb der vorgesehenen Zugriffsrechte?
Generative KI für Bildbearbeitung, 3D und Verkaufsprospekte
Lass uns
in Kontakt kommen.
Du suchst jemanden, der KI-Anwendungen mit bestehenden Geschäftsprozessen verbindet? Ich freue mich auf ein Gespräch über Aufgaben in KI-Beratung, Automatisierung und operativer Projektleitung.
Mich kontaktierenDer Button öffnet dein E-Mail-Programm.
mohamad@aboualnaser.com