Ollama für Einsteiger: Lokale KI erstmals ausprobieren

Das Problem

Sie haben gelesen, dass man KI auch auf dem eigenen Computer betreiben kann, ohne Abo und ohne Internet-Dienst. Jetzt möchten Sie das ausprobieren, doch die Anleitungen im Netz sind voller Fachbegriffe, und Sie wissen nicht, womit Sie beginnen sollen.

Ollama ist ein beliebtes Programm für genau diesen Zweck. Es verwaltet Sprachmodelle auf Ihrem Computer und lässt sich mit wenigen Schritten starten. Sie brauchen dafür keine Programmierkenntnisse, nur etwas Geduld beim ersten Mal.

Diese Seite führt Sie durch den ersten Versuch. Das Ziel: Sie stellen Ihrer lokalen KI eine Frage und sehen die Antwort, in etwa einer halben Stunde.

So lösen Sie es mit KI – Schritt für Schritt

1. Voraussetzungen prüfen. Mit 16 GB Arbeitsspeicher und genug freiem Speicherplatz starten Sie bequem. Siehe Voraussetzungen auf dem PC. Fragen Sie auf Firmengeräten vorher die IT.

1. Programm herunterladen. Gehen Sie auf die offizielle Seite ollama.com und laden Sie die Version für Ihr Betriebssystem herunter. Laden Sie Programme nie von Drittseiten.

1. Installieren. Starten Sie die heruntergeladene Datei und folgen Sie den Hinweisen. Unter Linux läuft die Installation über eine Zeile im Terminal, die auf der Herstellerseite steht. Siehe Ollama installieren.

1. Eingabefenster öffnen. Unter Windows öffnen Sie die «Eingabeaufforderung» oder «PowerShell», auf dem Mac das «Terminal». Das ist ein Fenster, in das Sie Befehle tippen. Neuere Versionen von Ollama bieten je nach Version auch ein eigenes Chatfenster.

1. Ein Modell wählen. Auf ollama.com gibt es eine Bibliothek mit Modellen. Wählen Sie ein kleines Modell und merken Sie sich seinen Namen. Die Seite zeigt die Dateigrösse.

1. Modell starten. Tippen Sie ollama run und danach den Modellnamen, dann Enter. Beim ersten Mal lädt Ollama das Modell herunter, das dauert je nach Grösse einige Minuten. Danach erscheint ein Eingabefeld.

1. Testfragen stellen. Beginnen Sie mit einfachen Aufgaben, zum Beispiel jener unten. Beenden Sie die Sitzung mit /bye.

1. Erfahrungen festhalten. Notieren Sie Tempo, Qualität und Fehler. Vergleichen Sie bei Bedarf ein zweites Modell. Siehe Ollama oder LM Studio.

Vorlage zum Kopieren

Mit diesen drei Testfragen prüfen Sie rasch, wie das Modell mit Deutsch und mit Ihrem Alltag umgeht:

1. Erkläre in drei Sätzen für eine Sekretärin ohne IT-Kenntnisse, was ein Sprachmodell ist.

2. Schreibe eine freundliche E-Mail an [Kundenname], in der ich einen Termin am [Datum] um [Uhrzeit] bestätige. Anrede «Sie», Schweizer Rechtschreibung, höchstens 80 Wörter.

3. Fasse den folgenden Text in vier Stichpunkten zusammen. Verwende nur Informationen aus dem Text:
[Text, ohne vertrauliche Angaben]

Ersetzen Sie die Platzhalter mit eigenen Angaben und verwenden Sie für die ersten Tests nur unkritische Texte.

Worauf Sie achten müssen

• Qualität schwankt: Kleine lokale Modelle sind weniger zuverlässig als grosse Cloud-Dienste. Prüfen Sie jede Antwort.
• Datenschutz: Die Verarbeitung findet auf Ihrem Gerät statt. Neuere Programmversionen können optionale Online-Funktionen enthalten. Prüfen Sie die Einstellungen, wenn Ihre Daten das Gerät nicht verlassen sollen.
• Speicherplatz: Modelle sind gross. Löschen Sie nicht mehr benötigte Modelle. Siehe Modell löschen.
• Lizenzen: Jedes Modell hat Nutzungsbedingungen. Prüfen Sie diese, bevor Sie es im Betrieb einsetzen. Siehe Modelllizenz prüfen.
• Vertrauliches: Auch lokal gelten Regeln für sensible Daten. Beginnen Sie mit harmlosen Texten.
• Probleme: Startet etwas nicht, hilft meist ein Neustart. Weitere Hilfe unter Ollama startet nicht.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Büroleiterin eines Reisebüros in Luzern möchte wissen, ob eine lokale KI beim Formulieren von Kundenmails helfen kann, ohne dass Reisedaten ins Internet gehen. Sie installiert Ollama an einem Nachmittag auf einem älteren Büro-PC.

Vorher: Sie schreibt jede Mail von Hand und fürchtet sich vor der Technik. Nachher: Sie stellt dem Modell die drei Testfragen. Die Mailentwürfe sind brauchbar, brauchen aber Korrekturen bei Anrede und Wortwahl. Sie entscheidet, die lokale KI für Entwürfe ohne Kundennamen zu nutzen und einen Mitarbeiter zu bitten, die Datenschutzregeln für den Betrieb zu klären.

So hilft Ihnen Alpasana

Wer lokale KI gründlich kennenlernen möchte, kann das mit Übungsaufgaben tun. Das Angebot KI und IT für konkrete Arbeitsaufgaben von absofort umfasst nach Angebotsbeschreibung unter anderem lokale KI mit Ollama und Open-Source-Modellen. Dazu gehören ein KI-Lerncoach, Praxisaufgaben und ein verifizierbarer Abschluss.

Häufige Fragen

Kostet Ollama etwas?

Das Programm selbst wird laut Herstellerseite kostenlos angeboten. Prüfen Sie die aktuellen Bedingungen auf ollama.com, denn Angebote können sich ändern, etwa bei zusätzlichen Online-Funktionen. Die Modelle haben eigene Lizenzen.

Welches Modell soll ich zuerst nehmen?

Ein kleines, das auf Ihr Gerät passt und Deutsch kann. Auf der Modellseite stehen Grösse und Sprachen. Testen Sie zwei bis drei Modelle mit denselben Fragen und vergleichen Sie. Siehe Modell auswählen.

Ist das für den Betrieb sicher genug?

Für den Einstieg und für unkritische Texte ja. Für den Dauerbetrieb im Unternehmen brauchen Sie klare Regeln, Zugriffsschutz und Updates. Beginnen Sie mit einem Test und planen Sie den Betrieb danach.

Brauche ich dafür Programmierkenntnisse?

Nein. Sie tippen einen kurzen Befehl und danach normale Sätze. Wer das Terminal scheut, kann auf ein Programm mit Chatfenster ausweichen, etwa LM Studio. Wichtiger als Technikwissen ist ein klares Ziel: Wofür wollen Sie die KI einsetzen, und welche Texte dürfen hinein?