Lokale KI · Ollama, vLLM & Open WebUI
Ollama Server, vLLM & Open WebUI: Welches Werkzeug wofür?
Ollama, vLLM, llama.cpp, LM Studio und Open WebUI sauber sortiert: Wer macht was, was trägt eine Abteilung, wie sichert man einen Ollama Server ab – und was bleibt Testumgebung?
Zufriedene Kunden der Suchhelden GmbH
Überblick
Bausteine, keine Alternativen
Stand: November 2026. Hinweis zur Aktualität: Dieses Werkzeug-Ökosystem verändert sich schnell. Projekte wechseln den Schwerpunkt, neue Oberflächen tauchen auf, andere verschwinden. Wir halten diese Seite deshalb regelmäßig nach und weisen das Aktualisierungsdatum sichtbar aus. Wenn Dir eine Einschätzung überholt vorkommt, sag uns Bescheid.
Wer anfängt, Sprachmodelle selbst zu betreiben, stolpert schnell über dieselben Namen. Ollama, vLLM, llama.cpp, LM Studio, Open WebUI. In Foren werden sie im selben Atemzug genannt. In Angeboten stehen sie nebeneinander. Und in Meetings sagt jemand „wir nehmen Ollama", bevor überhaupt geklärt ist, wofür.
Das ist der häufigste Fehler in diesem Bereich. Diese LLM-Werkzeuge lösen unterschiedliche Probleme. Manche führen ein Modell aus. Andere sind nur die Oberfläche davor. Wieder andere sind zum Ausprobieren am eigenen Arbeitsplatz gedacht. Sie sind keine Alternativen zueinander, sondern Bausteine, die zusammen ein System ergeben.
TRANSKRIPT Denn nicht alle Helden tragen Capes
„Du kannst um die Welt fliegen um international Business zu machen – wir bringen Dein Business zum Fliegen. Wir bewegen uns durch datenbasierte Customer Journeys, setzen auf transparente Zusammenarbeit und positionieren Dein Business an die Spitze. Ein Business braucht keine Superkräfte, aber es braucht Helden – Suchhelden. Denn nicht alle Helden tragen Capes.“
Ollama Server, vLLM & Open WebUI: Welches Werkzeug wofür?
Diese Seite sortiert den Werkzeugkasten. Wir erklären, welche Rolle jedes Werkzeug spielt, wo seine natürliche Grenze liegt und welche Kombination zu welcher Ausgangslage passt. Was Du hier nicht findest: Installationsbefehle, Konfigurationsdateien oder Systemanforderungen. Dafür gibt es die Projektdokumentationen – und die sind schneller aktuell, als eine Ratgeberseite je sein kann.
Uns geht es um die Entscheidung davor. Die teuren Fehler passieren nämlich nicht bei der Installation. Sie passieren, wenn ein Werkzeug für eine Aufgabe eingesetzt wird, für die es nie gedacht war.
Welche Werkzeuge laufen, legen wir in Schritt 2 fest und richten sie in Schritt 4 auf Eurem Server ein.
So setzen wir das mit Euch um: Ziele verstehen → Stack und Modelle wählen → Ihr mietet den Server nach unserer Vorgabe → wir richten ihn ein und betreuen ihn → wir führen die KI bei Euch ein → wir trainieren sie, bis Eure Ziele erreicht sind. Den Ablauf im Detail ansehen
Jetzt anfragen ›Kostenlose KI-Erstberatung – einfach anfragen.
Lass uns gemeinsam herausfinden, wo Künstliche Intelligenz in Deinem Unternehmen den größten Nutzen stiftet – ehrlich, unverbindlich und auf Augenhöhe. Wenn sich ein Projekt für Dich nicht rechnet, sagen wir Dir das genauso klar.
Aus der Praxis
Drei Situationen, in denen die Werkzeugwahl den Unterschied macht
Der Prototyp, der plötzlich eine Abteilung versorgen soll
Es beginnt fast immer gleich. Jemand aus der IT installiert ein Modell auf dem eigenen Rechner. Es funktioniert erstaunlich gut. Kolleg:innen sehen es, finden es nützlich und wollen auch Zugriff. Ein paar Wochen später hängen fünfzehn Leute an einem Aufbau, der für eine Person gedacht war.
Dann kommen die Fragen, die vorher niemand stellen musste. Wer darf eigentlich was sehen? Wo werden die Verläufe gespeichert? Und wer ist erreichbar, wenn es morgens klemmt?
Die Antwort ist selten ein größerer Rechner. Es ist ein anderer Aufbau. Ein Werkzeug für einzelne Arbeitsplätze bringt keine Benutzerverwaltung mit, weil es sie nie brauchte. Das nachzurüsten ist aufwendiger, als es gleich richtig zu bauen.
Das Werkzeug wird gewählt, bevor die Frage geklärt ist
„Wir setzen auf Ollama." Dieser Satz fällt oft, bevor jemand sagen kann, wie viele Menschen das System nutzen sollen. Er ist dann keine Entscheidung, sondern eine Abkürzung. Bekannt ist nicht dasselbe wie passend.
Das Problem daran: Die Werkzeuge unterscheiden sich vor allem darin, wie sie mit gleichzeitigen Anfragen umgehen. Ein Werkzeug für den Einzelplatz bearbeitet eine Anfrage nach der anderen. Ein Werkzeug für den Serverbetrieb nimmt viele Anfragen parallel an.
Wer zuerst das Werkzeug festlegt, muss die Anforderungen danach passend schrumpfen. Die Reihenfolge entscheidet deshalb mehr als die Werkzeugwahl selbst.
Niemand weiß, wer das Ding eigentlich betreut
Der dritte Fall ist der unangenehmste. Das System läuft, wird genutzt und ist nirgends erfasst. Es steht in keinem Inventar. Es taucht in keinem Update-Plan auf. Die Person, die es aufgesetzt hat, ist inzwischen in einem anderen Projekt.
Solche Installationen altern still. Sicherheitsaktualisierungen bleiben aus, Modelle veralten. Und wenn jemand aus der Revision fragt, wer wann was abgefragt hat, gibt es keine Antwort.
Das ist kein Werkzeugproblem, sondern ein Zuständigkeitsproblem. Die Werkzeugwahl beeinflusst aber, wie leicht sich Zuständigkeit organisieren lässt. Ein System mit zentraler Benutzerverwaltung lässt sich übergeben. Ein Aufbau auf einem Einzelrechner nicht.
Der ehrliche Vergleich
Die Werkzeuge im direkten Vergleich
| Zweck | Typischer Nutzerkreis | Benutzerverwaltung | Für Produktivbetrieb gedacht | Betreuungsaufwand | |
|---|---|---|---|---|---|
| Ollama | Modelle ausführen und über eine Schnittstelle bereitstellen | Einzelne Person bis kleines Team | Nicht enthalten | Für kleine, klar abgegrenzte Installationen | Gering |
| Ollama Cloud | Modelle auf fremder Infrastruktur nutzen | Einzelne bis Team | Über den Anbieter | Betrieb liegt außerhalb Deiner Umgebung | Gering, dafür keine Datenhoheit |
| vLLM | Modelle für viele gleichzeitige Anfragen bereitstellen | Abteilung bis Gesamtunternehmen | Nicht enthalten, wird davorgeschaltet | Ja, übliche Wahl im Unternehmensbetrieb | Höher, dafür planbar |
| llama.cpp | Modelle auf bescheidener Hardware lauffähig machen | Einzelne Person, Spezialfälle | Nicht enthalten | In Nischen, etwa ohne Grafikbeschleunigung | Mittel, viel Handarbeit |
| LM Studio | Modelle am Arbeitsplatz ausprobieren | Eine Person | Nicht vorgesehen | Nein, Werkzeug zum Testen | Sehr gering |
| Open WebUI | Chat-Oberfläche für Teams, vor eine Laufzeitumgebung geschaltet | Team bis Gesamtunternehmen | Enthalten, mit Rollen und Gruppen | Ja, als Zugangsschicht | Mittel |
| LibreChat | Alternative Chat-Oberfläche mit Mehrbenutzerbetrieb | Team bis Gesamtunternehmen | Enthalten | Ja, als Zugangsschicht | Mittel |
| Gateway-Schicht | Anfragen zentral vermitteln, Modelle bündeln, Rechte und Nutzung steuern | Abteilung bis Gesamtunternehmen | Wird hier gebündelt, statt je Anwendung gepflegt | Ja, als Steuerungsschicht | Mittel, dafür an einer Stelle |
| Werkzeug-Anbindung (MCP) | Interne Systeme als Werkzeuge für das Modell bereitstellen | Team bis Gesamtunternehmen | Rechte je angebundenem Werkzeug | Ja, mit klarem Rechtekonzept | Mittel bis höher |
| Anbieter-Dienst (Vergleich) | Modelle als fertigen Dienst beziehen | Beliebig | Über den Anbieter | Ja, außerhalb Deiner Umgebung | Gering, dafür Abhängigkeit |
Die Tabelle sieht nach einer Rangliste aus, ist aber keine. Es gibt hier kein bestes Werkzeug, weil die Zeilen unterschiedliche Fragen beantworten. Ollama, vLLM und llama.cpp führen Modelle aus. Open WebUI und LibreChat tun das nicht – sie geben Menschen eine Oberfläche dafür. Gateway und Werkzeug-Anbindung sind noch einmal etwas anderes: Sie regeln, wer worauf zugreifen darf.
Die eigentliche Entscheidung liegt deshalb nicht in einer Spalte, sondern in der Kombination. In fast jedem Unternehmensaufbau braucht es zwei Bausteine: etwas, das das Modell ausführt, und etwas, durch das Menschen es erreichen. Welcher Baustein unten steht, hängt an der erwarteten Last. Welcher oben steht, hängt daran, wie Ihr Benutzer und Rechte verwaltet. Ab einer gewissen Größe kommt die Gateway-Schicht dazwischen.
KERNAUSSAGE
„Die Werkzeugdebatte ist meistens die falsche Debatte. Ob Ollama oder vLLM unten liegt, entscheidet sich in zehn Minuten, sobald der Nutzerkreis klar ist. Was wirklich Arbeit macht, ist alles darüber: Rechte, Protokollierung, Updates und die Frage, wer morgens angerufen wird."
Vorgehen
So wählst Du den passenden Stack
Aufgabe klären
Zuerst steht die Frage, was das System eigentlich tun soll. Nur chatten? Dokumente auswerten? Im Hintergrund Daten verarbeiten? Diese drei Fälle führen zu unterschiedlichen Aufbauten. Ein reiner Chat-Zugang ist deutlich einfacher als ein System, das automatisiert Dokumente durchschiebt.
Wichtig ist auch die Art der Nutzung. Gelegentliche Fragen belasten ein System anders als ein Prozess, der ununterbrochen arbeitet. Wir fragen deshalb nicht nach Wunschtechnik, sondern nach dem Arbeitsalltag.
Nutzerkreis bestimmen
Der zweite Schritt entscheidet am meisten. Arbeitet eine Person damit, ein Team oder das halbe Unternehmen? Und vor allem: Wie viele davon gleichzeitig? Das ist die Zahl, die zählt – nicht die Zahl der Konten.
Aus dem Nutzerkreis folgt fast automatisch die Laufzeitumgebung. Für einzelne Rechner und Testaufbauten reicht ein schlankes Werkzeug. Sobald viele Menschen parallel Anfragen stellen, braucht es eine Umgebung, die genau dafür gebaut ist. Diesen Übergang planen wir bewusst, statt ihn im laufenden Betrieb zu erleben.
Betriebsform festlegen
Jetzt geht es um den Ort. Läuft das System auf einem Arbeitsplatzrechner, auf einem Server im Haus oder auf gemieteter Kapazität in einem deutschen Rechenzentrum? Davon hängt ab, wie das Netz aussieht, wie die Anmeldung funktioniert und wie Updates eingespielt werden.
Hier fällt auch die Entscheidung über die Oberfläche. Eine Chat-Umgebung für Teams gehört an Euer bestehendes Benutzerverzeichnis angebunden. Dann müssen keine zweiten Passwörter gepflegt werden, und ausgeschiedene Kolleg:innen verlieren den Zugang automatisch. Wer das überspringt, baut eine Nebenwelt neben der eigenen IT. Für Teams richten wir das auf einem Server ein, den Ihr nach unserer Vorgabe mietet – und betreuen ihn über die gesamte Laufzeit.
Zuständigkeit regeln
Der letzte Schritt wird am häufigsten vergessen. Wer betreut das System? Wer spielt Updates ein? Wer schaut auf die Auslastung? Und wen rufen die Nutzer:innen an, wenn etwas nicht geht? Ohne Antwort auf diese vier Fragen ist kein Aufbau fertig.
Dazu gehört die unspektakuläre Seite: Protokollierung einschalten, Backups aufsetzen, einen Update-Weg festlegen. Das ist der Teil, den niemand vorzeigt. Er entscheidet trotzdem, ob das System in einem Jahr noch läuft.
Grundlagen
Was ist ein Ollama Server – und wo liegt der Unterschied zu vLLM?
Was ist ein Ollama Server
Ein Ollama Server ist ein Rechner, auf dem die Software Ollama läuft und ein Sprachmodell über eine Schnittstelle bereitstellt. Ollama ist also kein Modell und keine Oberfläche. Es ist eine Laufzeitumgebung: Sie lädt das Modell, führt es aus und nimmt Anfragen entgegen. Andere Programme können diese Schnittstelle ansprechen.
vLLM erfüllt dieselbe Grundaufgabe, ist aber für andere Größenordnungen gebaut. Der Schwerpunkt liegt darauf, viele Anfragen gleichzeitig zu bedienen, ohne dass die Nutzer:innen warten. Deshalb ist vLLM die übliche Wahl, wenn ein Inferenz-Server eine ganze Abteilung oder ein Unternehmen versorgen soll. Der Begriff Inferenz meint dabei schlicht das Anwenden eines fertig trainierten Modells.
Der Unterschied ist also keine Frage von besser oder schlechter. Er liegt im Einsatzzweck. Beide führen dieselben frei verfügbaren Modelle aus.
Die meisten Missverständnisse lösen sich auf, sobald man drei Schichten trennt. Ganz unten liegt das Modell. Das ist eine Datei mit trainierten Gewichten, für sich allein nicht benutzbar. Welche Modelle es gibt und wie sie sich unterscheiden, haben wir in unserem Ratgeber zu den Modellen im Vergleich beschrieben.
Abgrenzung: Modell, Laufzeitumgebung und Oberfläche
Darüber liegt die Laufzeitumgebung. Sie lädt das Modell in den Speicher, führt es aus und stellt eine Schnittstelle bereit. Ollama, vLLM und llama.cpp gehören in diese Schicht. Sie sind austauschbar, solange die Schnittstelle gleich bleibt.
Ganz oben liegt die Oberfläche. Sie ist das, was Deine Kolleg:innen tatsächlich sehen: ein Chatfenster, eine Anmeldung, eine Auswahl an Modellen, gespeicherte Verläufe. Open WebUI und LibreChat gehören hierher. Sie führen selbst kein Modell aus, sondern sprechen die Schnittstelle darunter an.
Im Unternehmensbetrieb kommt eine vierte Schicht dazu. Zwischen Laufzeitumgebung und Oberfläche sitzt dann ein zentraler Vermittlungsdienst, das Gateway. Die Reihenfolge lautet damit: Modell, Laufzeitumgebung, Gateway, Oberfläche. Warum sich dieser Zwischenschritt lohnt, beschreiben wir weiter unten im Werkzeug-Kapitel.
Wer diese Schichten sauber auseinanderhält, kann jede einzeln tauschen. Ein anderes Modell, ohne dass die Oberfläche sich ändert. Eine andere Laufzeitumgebung, ohne dass Nutzer:innen etwas merken. Genau das ist die praktische Bedeutung von Kein Vendor-Lock-in auf technischer Ebene.
✕Ollama – schlanker Einstieg
- Schnell einsatzbereit, wenig Vorwissen nötig
- Gedacht für einzelne Rechner, Testumgebungen und kleine Installationen
- Bringt keine Benutzerverwaltung mit
- Wird im Unternehmen meist zur Zwischenstufe, nicht zum Ziel
✓vLLM – Betrieb für viele
- Auf gleichzeitige Anfragen ausgelegt
- Übliche Wahl für den Unternehmensbetrieb
- Braucht eine bewusste Einrichtung und passende Hardware
- Rechte und Anmeldung werden davorgeschaltet, nicht mitgeliefert
Werkzeuge
Die Werkzeuge im Einzelnen
Im Folgenden beschreiben wir die Rolle jedes Werkzeugs, nicht seine Bedienung. Messwerte findest Du bewusst keine – sie veralten schnell.
Ollama
Ollama ist der bequemste Einstieg in den Eigenbetrieb. Modelle lassen sich mit wenig Aufwand laden und ansprechen, die Schnittstelle ist an gängige Standards angelehnt. Genau deshalb ist Ollama in Testumgebungen und auf Entwicklungsrechnern so verbreitet.
Für kleine, klar abgegrenzte Installationen ist das ausreichend. Sobald aber Rechte, Protokollierung und viele gleichzeitige Nutzer:innen dazukommen, endet der natürliche Einsatzbereich. Ollama ist dann nicht kaputt – es war nur nie dafür gedacht.
Daneben gibt es inzwischen Ollama Cloud, also Modellleistung über fremde Infrastruktur. Das ist bequem, aber kein Eigenbetrieb mehr. Wer aus Datenschutzgründen selbst betreibt, sollte diesen Unterschied kennen.
Open WebUI
Open WebUI ist die Chat-Oberfläche für Teams. Sie bringt mit, was die Laufzeitumgebungen bewusst weglassen: Benutzerkonten, Rollen und Gruppen, Verläufe, eine Modellauswahl und geteilte Vorlagen für wiederkehrende Aufgaben.
Das macht sie zum Schlüsselstück im Unternehmensaufbau. Erst hier entsteht aus einer technischen Schnittstelle ein Werkzeug, das Kolleg:innen ohne Einweisung benutzen. Auch die Anbindung des Firmenwissens läuft üblicherweise über diese Schicht. Wer die Oberfläche als Nebensache behandelt, wundert sich später über die geringe Nutzung.
LM Studio
LM Studio ist eine Oberfläche zum Ausprobieren am eigenen Arbeitsplatz. Modelle lassen sich laden und direkt im Gespräch testen, ohne dass jemand einen Server aufsetzen muss. Für die erste Orientierung ist das hervorragend.
Als Grundlage für den Unternehmensbetrieb ist es nicht gedacht. Es läuft auf einem einzelnen Rechner und kennt keine zentrale Verwaltung. Genau darin liegt aber sein Wert: Wer wissen will, was Modelle heute leisten, kommt hier am schnellsten ans Ziel.
Werkzeug-Anbindung über MCP
Bis hierher kann das System vor allem eines: reden. Interessant wird es, wenn das Modell auf interne Systeme zugreifen darf. Dafür gibt es eine standardisierte Werkzeug-Anbindung, bekannt unter dem Kürzel MCP.
Die Idee dahinter ist einfach. CRM, Ticketsystem, Dateiablage oder Datenbank werden als Werkzeuge beschrieben und bereitgestellt. Das Modell nutzt sie, wenn die Aufgabe es verlangt. Es ruft dann selbst einen Vorgang ab, prüft einen Status oder legt einen Eintrag an – statt nur zu erklären, wie das ginge.
Das ist der Schritt vom Chatfenster zum Assistenten, der in Prozessen arbeitet. Er will sorgfältig eingerichtet sein. Jedes angebundene Werkzeug bekommt eigene Grenzen, und schreibende Zugriffe behandeln wir zurückhaltender als lesende. Auch hier ist die Technik der kleinere Teil. Der größere ist die Festlegung, wer was auslösen darf.
vLLM
vLLM ist das Arbeitstier für den Unternehmensbetrieb. Es ist darauf ausgelegt, viele Anfragen parallel anzunehmen und die vorhandene Rechenleistung gut auszunutzen. Arbeitet eine ganze Abteilung damit, verhält sich ein solcher Aufbau spürbar ruhiger als eine Einzelplatz-Lösung.
Dafür braucht es mehr Einrichtungsaufwand. vLLM erwartet, dass jemand bewusst entscheidet, welches Modell wie bereitgestellt wird. Auch die passende Server-Ausstattung will vorher geklärt sein. Im Gegenzug verhält sich das System unter Last vorhersehbar.
llama.cpp
llama.cpp ist die Grundlage dafür, dass Modelle auch auf bescheidener Hardware laufen, ohne spezialisierte Grafikbeschleunigung. Viele bequemere Werkzeuge bauen im Kern darauf auf.
Für den Alltag im Unternehmen ist llama.cpp selten die direkte Wahl. Es ist eher Fundament als Bedienoberfläche. Interessant wird es dort, wo wenig Hardware zur Verfügung steht – oder beim Betrieb ohne Internetverbindung.
Die Gateway-Schicht
Bei ernsthaftem Betrieb kommt ein Baustein dazu, der in Werkzeuglisten meist fehlt. Zwischen Oberfläche und Modell sitzt ein zentraler Vermittlungsdienst, oft Gateway genannt. Er nimmt alle Anfragen entgegen und leitet sie an die passende Laufzeitumgebung weiter. Die Nutzer:innen bekommen davon nichts mit.
Entscheidend ist, wie dieser Dienst nach außen auftritt. Er stellt eine Schnittstelle bereit, die kompatibel zu der der großen Anbieter ist. Das hat drei Folgen.
Erstens lassen sich bestehende Tools, Skripte und Automatisierungen ohne Umbau anbinden. Was heute gegen einen externen Dienst arbeitet, zeigt danach auf Euer eigenes System. Meist genügen eine andere Adresse und ein anderer Zugangsschlüssel.
Zweitens laufen Rechte, Budgets, Protokollierung und Nutzungsübersichten an einer Stelle zusammen. Wer darf welches Modell ansprechen? Wie stark wird das System genutzt? Welche Abteilung erzeugt welche Last? Das beantwortet das Gateway, nicht jede Anwendung für sich.
Drittens lassen sich mehrere Modelle parallel bereitstellen und tauschen. Ein schnelles für den Alltag, ein stärkeres für schwierige Fälle, dazu vielleicht ein Spezialmodell. Ein Modellwechsel wird damit zur Einstellung statt zum Projekt.
Über dieselbe anbieterkompatible Schnittstelle lassen sich auch Automatisierungsplattformen anbinden. Werkzeuge wie n8n verketten einzelne Schritte zu einem Ablauf und können selbst im eigenen Haus betrieben werden. Ein eingehendes Dokument wird geprüft, eingeordnet, zusammengefasst und weitergereicht. So wächst aus dem Chat eine KI-Prozessautomatisierung.
Sicherheit
Ollama Server absichern: Port 11434 gehört nicht ins Netz
Ollama bringt keine eigene Anmeldung mit. Wer die Schnittstelle erreicht, darf sie benutzen. Auf dem eigenen Rechner, wo Ollama standardmäßig nur lokal lauscht, ist das kein Problem. Gefährlich wird es, wenn jemand die Schnittstelle für Kolleg:innen im Netz freigibt, wie es viele Anleitungen ohne jeden Warnhinweis empfehlen. Sicherheitsforscher von Cisco fanden 2025 innerhalb kurzer Zeit 1.139 offen erreichbare Ollama-Server, 214 davon beantworteten Anfragen ohne jede Anmeldung. Deutschland lag mit 8,9 % auf Platz drei.
✓Netz und Zugang
- Die Laufzeitumgebung lauscht nur intern, nie direkt auf allen Netzwerkadressen
- Davor ein Reverse Proxy mit verschlüsselter Verbindung und Anmeldung über Euer Benutzerverzeichnis
- Firewall-Regeln und, wo nötig, Zugriff nur über VPN
- Zugangsschlüssel je Anwendung über das Gateway, nicht ein gemeinsamer für alle
✓Oberfläche und Betrieb
- In Open WebUI Mehrfaktor-Anmeldung und Audit-Protokoll bewusst einschalten, beides ist ab Werk aus
- Sicherheitsupdates der Oberfläche zeitnah einspielen, das Projekt veröffentlicht laufend Korrekturen
- Verzeichnis aller Server, Modelle und angebundenen Werkzeuge mit Versionsstand
- Lizenzen prüfen: LM Studio ist kein Open-Source-Werkzeug, Open WebUI hat eine Klausel zum Branding
Ein schlecht abgesicherter Server im eigenen Haus ist unsicherer als ein gut eingerichteter Cloud-Dienst. Eigenbetrieb ist nur dann der datenschutzfreundliche Weg, wenn die Absicherung zum Aufbau gehört. Mehr dazu auf der Seite DSGVO-konforme KI.
Hardware
Welche Hardware braucht ein Ollama Server?
Die Faustregel ist einfach: Das Modell muss vollständig in den Speicher der Grafikkarte passen, dazu kommt Platz für die laufenden Gespräche. Komprimierte Modelle (Quantisierung) brauchen grob etwas mehr als ein halbes Gigabyte pro Milliarde Parameter. Ein Modell mit sieben bis acht Milliarden Parametern läuft damit auf einer Karte mit 8 GB, ein 70-Milliarden-Modell braucht rund 40 GB und mehr.
Ohne Grafikkarte läuft Ollama auch auf dem Prozessor, dann aber mit wenigen Wörtern pro Sekunde. Für einen Test reicht das, für ein Team nicht. vLLM nutzt dieselbe Hardware für viele gleichzeitige Anfragen deutlich besser. In einem Vergleich von Red Hat auf derselben Grafikkarte erreichte vLLM unter Last bis zu 793 Token pro Sekunde, Ollama bis zu 41. Ollama bearbeitet ab Werk nur vier Anfragen parallel. Red Hat entwickelt selbst auf Basis von vLLM, die Richtung bestätigen aber auch unabhängige Messungen.
Ausprobieren
Notebook oder Arbeitsplatzrechner, kleines Modell, LM Studio oder Ollama. Kein Server nötig.
Kleines Team
Ein Server mit einer Grafikkarte, ein mittleres Modell, Open WebUI davor.
Abteilung oder Unternehmen
Grafikkarten mit viel Speicher, vLLM, Gateway, Anmeldung über das Benutzerverzeichnis.
Mieten statt kaufen
Unser Standard ist ein gemieteter Server in einem deutschen Rechenzentrum auf Euren Namen.
Umstieg
Von Ollama zu vLLM, ohne neu zu bauen
Viele Projekte starten mit Ollama und wachsen dann. Weil beide Laufzeitumgebungen eine zu den großen Anbietern kompatible Schnittstelle anbieten, ist der Wechsel ein Umbau unter der Haube.
Gateway davorsetzen
Alle Anwendungen sprechen nur noch das Gateway an, nicht mehr Ollama direkt.
vLLM parallel aufbauen
Mit demselben Modell, auf passender Hardware, zunächst ohne Nutzer:innen.
Vorlagen neu prüfen
Dasselbe Modell kann in anderer Laufzeit leicht anders antworten. Prompts und feste Ausgabeformate testen wir an echten Aufgaben.
Umschalten
Im Gateway, für einzelne Gruppen zuerst. Oberfläche, Konten und Verläufe bleiben, wie sie sind.
Warum KI-Helden
Aus der Praxis, für die Praxis.
Keine lange Vertragsbindung. Volle Flexibilität, volle Kostenkontrolle.
Statt sechsstelliger Projektkosten: flexibles Monatsmodell.
Modellunabhängig und immer am neuesten Stand — keine Bindung an ein LLM.
Persönlicher Ansprechpartner, Jour-Fixe-Calls und dediziertes Umsetzungsteam.
Anwendung
Sechs Ausgangslagen und die passende Kombination
Die folgenden Situationen decken fast alles ab, was uns in Projekten begegnet. Such Dir die, die Eurer Lage am nächsten kommt.
Eine einzelne Person will ausprobieren
Ziel ist Orientierung, nicht Betrieb. Hier reicht ein Werkzeug für den Arbeitsplatz: LM Studio zum Testen verschiedener Modelle, alternativ Ollama, wenn später eine Schnittstelle gebraucht wird. Wichtig ist nur, dass keine vertraulichen Inhalte in nicht freigegebene Umgebungen wandern.
Eine Abteilung arbeitet gemeinsam damit
Sobald mehrere Menschen dasselbe System nutzen, braucht es eine Oberfläche mit Konten und Rollen. Typisch ist Open WebUI vor einer Laufzeitumgebung. Ob darunter Ollama oder vLLM läuft, hängt daran, wie viele Anfragen gleichzeitig auflaufen. Für eine überschaubare Abteilung mit gelegentlicher Nutzung genügt oft noch der schlanke Weg.
Das ganze Unternehmen soll Zugriff bekommen
Jetzt ist vLLM die naheliegende Grundlage, mit Open WebUI oder einer vergleichbaren Oberfläche davor. Anmeldung über das bestehende Benutzerverzeichnis, Rollen und Gruppen sauber abgebildet, Protokollierung eingeschaltet. Hier gehören auch Datenschutz und Betriebsrat früh an den Tisch – mehr dazu auf unserer Seite zum Datenschutz bei eigener KI.
Ein abgeschottetes Netz ohne Internetverbindung
In Produktion, kritischer Infrastruktur und Verwaltung gibt es Netze ohne Außenverbindung. Der Aufbau funktioniert dort genauso, nur müssen Modelle und Aktualisierungen kontrolliert hereingereicht werden. Das ist der klassische Fall für den Betrieb im eigenen Haus. Gehostete Varianten wie Ollama Cloud scheiden hier grundsätzlich aus. Unser Standard bleibt auch hier der gemietete Server auf Euren Namen. Hardware im eigenen Haus setzen wir nur in Absprache um – mit Expertinnen und Experten aus unserem Netzwerk, die sie bei Euch aufbauen und betreuen.
Ein Entwicklungsteam braucht Unterstützung
Entwicklungsteams sind meist die ersten Nutzer:innen. Sie wollen Modelle direkt über die Schnittstelle ansprechen, nicht über ein Chatfenster. Hier bewährt sich eine gemeinsame Laufzeitumgebung im Netz statt vieler Einzelinstallationen auf Notebooks. Nebenbei entsteht das Wissen, das später den Unternehmensbetrieb trägt.
Ein Prozess läuft dauerhaft im Hintergrund
Wenn ein System ununterbrochen Dokumente verarbeitet, gelten andere Regeln. Dann zählt Verlässlichkeit mehr als Bequemlichkeit: vLLM als Grundlage, Überwachung der Auslastung, ein festgelegter Update-Weg und ein definierter Zustand, auf den zurückgesetzt werden kann. Die Oberfläche ist hier Nebensache, die Anbindung an die KI-Prozessautomatisierung dagegen entscheidend.
Ehrlich gesagt
Wo diese Werkzeuge an Grenzen stoßen
Keines dieser Werkzeuge löst das eigentliche Problem: die Organisation drumherum. Sie führen Modelle aus und zeigen Chatfenster an. Sie schulen niemanden und klären keine Zuständigkeiten. Wer glaubt, mit der Installation sei die Arbeit getan, unterschätzt den Rest deutlich.
Dazu kommt die Geschwindigkeit des Feldes. Empfehlungen von vor einem Jahr können heute falsch sein. Das ist ein echtes Risiko im Eigenbetrieb. Wer solche Systeme betreibt, braucht jemanden, der die Entwicklung verfolgt – oder betreutes Hosting auf eigener Infrastruktur, bei dem wir das übernehmen.
Und es gibt Fälle, in denen sich der Eigenbetrieb nicht lohnt. Wenn nur wenige Menschen gelegentlich unkritische Texte schreiben lassen, ist ein fertiger Dienst der ehrlichere Weg. Auch das sagen wir Dir lieber vorher.
Eine letzte Einschränkung betrifft den Datenschutz. Eigene Werkzeuge sind eine gute Ausgangslage, weil Inhalte Deine Umgebung nicht verlassen. Die rechtliche Bewertung ersetzen sie nicht. Eine vollständige Rechtsberatung können wir nicht leisten – für die datenschutzrechtliche Bewertung zieh bitte spezialisierte Datenschutzberater:innen oder Deine:n Datenschutzbeauftragte:n hinzu.
Erst die Anforderung. Dann das Werkzeug.
Lass uns gemeinsam klären, welche Kombination zu Eurer Ausgangslage passt – und welche Schritte es bis zum Betrieb wirklich braucht. Kostenlos und unverbindlich.
Über uns
Warum KI-Helden?
KI-Helden ist die KI-Abteilung der Suchhelden GmbH aus Osnabrück. Seit über einem Jahrzehnt arbeiten wir mit Unternehmen an digitalen Projekten. Vom Start-up bis zum internationalen Konzern, branchenunabhängig. Über 4.000 realisierte Projekte, ein Team aus über 140 Held:innen.
Für Werkzeugfragen heißt das vor allem eines: Wir haben diese Aufbauten im Betrieb gesehen, nicht nur im Test. Uns interessiert deshalb weniger, was heute in Foren empfohlen wird. Uns interessiert, was Dein Team in einem Jahr noch bedient und Deine IT noch betreut.
Fragen & Antworten
Du hast noch Fragen?
KI-Helden in Osnabrück
Heinrichstraße 14c49080 Osnabrück
- Montag bis Donnerstag
- 08:30–17:00 Uhr
- Freitag
- 08:30–15:00 Uhr
- Samstag und Sonntag
- Geschlossen
Was ist ein Ollama Server?
Ein Ollama Server ist ein Rechner, auf dem die Software Ollama läuft und ein Sprachmodell über eine Schnittstelle bereitstellt. Ollama lädt das Modell, führt es aus und nimmt Anfragen entgegen. Andere Programme oder eine Chat-Oberfläche sprechen diese Schnittstelle an. Ollama ist also weder das Modell noch die Oberfläche, sondern die Schicht dazwischen. Für kleine Installationen ist das ein bequemer Einstieg.
Was ist der Unterschied zwischen Ollama und vLLM?
Der Einsatzzweck. Beide führen dieselben frei verfügbaren Modelle aus, sind aber für unterschiedliche Größenordnungen gebaut. Ollama ist auf einfachen Einstieg optimiert und passt zu einzelnen Rechnern, Testumgebungen und kleinen Installationen. vLLM ist darauf ausgelegt, viele Anfragen gleichzeitig zu bedienen, und ist deshalb die übliche Wahl im Unternehmensbetrieb. Besser oder schlechter gibt es hier nicht, nur passend oder unpassend.
Ist Ollama für Unternehmen geeignet?
Für kleine, klar abgegrenzte Installationen ja, für den breiten Unternehmensbetrieb in der Regel nicht. Ollama bringt keine Benutzerverwaltung mit und ist nicht auf viele gleichzeitige Anfragen ausgelegt. In vielen Projekten ist es trotzdem die richtige Zwischenstufe. Steht der Anwendungsfall fest, wird die Laufzeitumgebung getauscht und eine Oberfläche mit Rechten davorgesetzt. Nutzer:innen merken von diesem Wechsel meist nichts.
Wie installiere ich Ollama?
Diese Seite gibt bewusst keine Installationsanleitung. Die offiziellen Projektseiten sind dafür die bessere Quelle, weil sie immer aktuell sind. Aus unserer Erfahrung ist die Installation ohnehin der kleinste Teil der Arbeit. Die eigentlichen Fragen kommen danach. Wer darf zugreifen? Wo werden Verläufe gespeichert? Wer spielt Updates ein? Und wer ist erreichbar, wenn es klemmt? Genau dort setzen wir an.
Brauchen wir Ollama und Open WebUI zusammen?
Meistens braucht es eine Kombination aus beiden Schichten, aber nicht zwingend diese. Eine Laufzeitumgebung führt das Modell aus, eine Oberfläche macht es für Menschen benutzbar. Ob unten Ollama oder vLLM liegt, entscheidet der Nutzerkreis. Welche Oberfläche oben sitzt, entscheidet Eure Benutzerverwaltung. Die Schichten lassen sich unabhängig voneinander tauschen, solange die Schnittstelle dazwischen sauber bleibt. Ab einer gewissen Größe kommt zwischen beiden noch ein Gateway dazu.
Wozu braucht es eine zusätzliche Schicht zwischen Oberfläche und Modell?
Weil dort zusammenläuft, was sich sonst über viele Anwendungen verteilt. Ein Gateway nimmt alle Anfragen entgegen und leitet sie an die passende Laufzeitumgebung weiter. An dieser einen Stelle regelt Ihr Rechte, Budgets, Protokollierung und Nutzungsübersichten. Mehrere Modelle lassen sich parallel bereitstellen und tauschen. Für einen kleinen Testaufbau ist das verzichtbar. Sobald mehrere Anwendungen oder Abteilungen dazukommen, fehlt sonst die Stelle zum Steuern.
Können wir unsere bestehenden Skripte und Tools weiter benutzen?
In der Regel ja. Ein Gateway stellt eine Schnittstelle bereit, die kompatibel zu der der großen Anbieter ist. Anwendungen, die heute gegen einen externen Dienst arbeiten, zeigen danach auf Euer eigenes System. Meist genügen eine andere Adresse und ein anderer Zugangsschlüssel. Getestet gehört trotzdem jede Anbindung, denn ein anderes Modell antwortet anders. Prompts und feste Ausgabeformate prüfen wir nach dem Umzug erneut.
Wie binden wir interne Systeme wie CRM oder Ticketsystem an?
Über eine standardisierte Werkzeug-Anbindung, bekannt unter dem Kürzel MCP. Dabei werden einzelne Systeme als Werkzeuge beschrieben und dem Modell bereitgestellt. Es kann dann einen Vorgang abrufen oder einen Eintrag anlegen, statt nur darüber zu reden. Wichtig ist ein klares Rechtekonzept: Jedes Werkzeug bekommt eigene Grenzen, und schreibende Zugriffe behandeln wir zurückhaltender als lesende. Wir starten mit dem Anwendungsfall, der den größten Nutzen bringt.
Was ist Ollama Cloud – und passt das zu uns?
Ollama Cloud bedeutet, Modellleistung über fremde Infrastruktur zu beziehen statt selbst zu betreiben. Das ist bequem und sofort nutzbar. Es ist aber kein Eigenbetrieb mehr, denn Inhalte verlassen Deine Umgebung. Wer aus Datenschutzgründen selbst betreibt, hebt damit den eigenen Vorteil wieder auf. Für unkritische Aufgaben kann das trotzdem sinnvoll sein. Entscheidend ist, dass die Unterscheidung im Haus bekannt ist.
Ab wann reicht der schlanke Weg nicht mehr?
Wenn mehrere Menschen gleichzeitig arbeiten, wenn Rechte differenziert werden müssen oder wenn nachvollziehbar sein soll, wer wann was abgefragt hat. Spätestens dann braucht es eine Umgebung mit Benutzerverwaltung und eine Laufzeitumgebung für parallele Anfragen. Die Zahl der Konten ist dabei nicht entscheidend, sondern die Zahl der gleichzeitigen Anfragen. In der Praxis merkt man den Übergang daran, dass Antworten zäh werden.
Können wir später von einem Werkzeug auf ein anderes wechseln?
In der Regel ja, wenn der Aufbau von Anfang an in Schichten gedacht wurde. Modell, Laufzeitumgebung und Oberfläche lassen sich getrennt tauschen, solange die Schnittstellen dazwischen sauber bleiben. Genau deshalb planen wir die Architektur vor der Werkzeugwahl. Ein Wechsel ist dann ein überschaubarer Eingriff und kein Neubau. Aufwendig wird es nur, wenn Oberfläche und Laufzeitumgebung nie sauber getrennt waren.
Ist ein selbst betriebener Aufbau datenschutzkonform?
Eigener Betrieb ist eine gute Ausgangslage, weil Inhalte Deine Umgebung nicht verlassen und Du den Standort bestimmst. Dazu gehören aber ein Rechtekonzept, Protokollierung und geklärte Zuständigkeiten. Die Werkzeuge allein leisten das nicht, sie müssen entsprechend eingerichtet werden. Eine vollständige Rechtsberatung können wir nicht leisten – für die datenschutzrechtliche Bewertung zieh bitte spezialisierte Datenschutzberater:innen oder Deine:n Datenschutzbeauftragte:n hinzu.
Können wir den Betrieb später selbst übernehmen?
Ja, und wir bauen bewusst so, dass das möglich bleibt. Dazu gehören eine dokumentierte Architektur, nachvollziehbare Entscheidungen und eine Einarbeitung Deines Teams. Wir halten nichts von Aufbauten, die nur ihr Erbauer versteht. Die Rechte am Quellcode bekommt Ihr ohnehin. Ob Du die Betreuung bei uns lässt oder intern übernimmst, ist eine Frage Eurer Kapazität. Ein Wechsel ist in beide Richtungen jederzeit möglich.
Was kostet der Aufbau mit Ollama, vLLM und Open WebUI?
Die Werkzeuge selbst kosten keine Lizenzgebühren. Kosten entstehen für den Server, den Ihr nach unserer Vorgabe mietet, und für Einrichtung, Absicherung und Betreuung. Bei uns zahlst Du nur die Stunden, die wirklich anfallen: im Retainer mit einem monatlich kündbaren Stundenkontingent oder als Einzelprojekt zu 85 € pro Stunde. Eine erste Demo ist oft kostenlos.
Ist Ollama kostenlos?
Die Software selbst ja: Ollama ist ein Open-Source-Projekt unter MIT-Lizenz und lässt sich ohne Lizenzkosten herunterladen und betreiben. Kosten entstehen durch Hardware oder gemietete Server, Strom, Einrichtung und Betreuung. Kostenpflichtig sind außerdem gehostete Angebote wie Ollama Cloud, bei denen die Rechenleistung von fremder Infrastruktur kommt.
Brauche ich für Ollama eine Grafikkarte?
Zum Ausprobieren nicht: Kleine Modelle laufen auch auf dem Prozessor, allerdings mit wenigen Wörtern pro Sekunde. Für flüssiges Arbeiten im Team braucht es eine Grafikkarte, deren Speicher das Modell vollständig aufnimmt. Welche Ausstattung für Eure Modelle und Nutzerzahl passt, planen wir zusammen mit der Modellwahl.
Ist Ollama sicher?
Ollama bringt keine eigene Anmeldung mit. Solange es nur auf dem eigenen Rechner lauscht, ist das unkritisch. Wer es im Netz bereitstellt, muss es hinter eine Anmeldung, eine verschlüsselte Verbindung und eine Firewall setzen. Offen ins Internet gestellte Ollama-Server sind ein bekanntes Problem. Wie wir das absichern, steht im Abschnitt zur Sicherheit auf dieser Seite.
Welches Ollama-Modell ist das beste?
Das beste Modell gibt es nicht, nur das passende für Eure Aufgaben, Sprache und Hardware. Wie wir Kandidaten eingrenzen und an Euren eigenen Unterlagen testen, beschreiben wir auf der Seite Open-Source-LLMs im Vergleich.
Das könnte Dich auch interessieren