Wie spricht ein Python-Programm mit Ollama?

Das Problem

Ein Planungsbüro in Chur hat ein kleines Python-Werkzeug, mit dem Projektnotizen aus einer Excel-Liste gelesen und zu Berichten zusammengestellt werden. Der Mitarbeiter, der es gebaut hat, möchte nun, dass das Werkzeug Texte mit der lokalen KI bearbeitet, die schon auf dem Rechner läuft. Frau Müller, die das Projekt betreut, versteht nur das Grundprinzip und möchte wissen, was dabei passiert und worauf zu achten ist.

Das Grundprinzip ist einfach: Ollama läuft als kleiner Dienst im Hintergrund und wartet auf Aufträge. Ein Python-Programm schickt ihm einen Auftrag und bekommt die Antwort. Das Programm braucht dafür nur ein paar Zeilen, aber Details wie Wartezeit und Fehler entscheiden, ob es im Alltag zuverlässig ist.

Hier erfahren Sie den Ablauf in einfacher Sprache und erhalten ein Muster, das Ihre IT-Fachperson anpassen kann.

So lösen Sie es mit KI – Schritt für Schritt

1. Ollama prüfen. Der Dienst muss laufen und das gewünschte Modell geladen sein. Siehe Ollama installieren und Modell herunterladen. Mit dem Befehl ollama list sehen Sie die vorhandenen Modelle.

1. Python bereitmachen. Auf dem Rechner muss Python installiert sein. Das Zusatzpaket «ollama» installiert die IT-Person mit dem Befehl pip install ollama.

1. Modellnamen notieren. Das Programm braucht genau den Namen, wie ihn ollama list anzeigt.

1. Ein erstes Skript schreiben. Es schickt eine kurze Nachricht und gibt die Antwort aus. Ein Muster steht unten.

1. Mit kurzen Texten testen. Beginnen Sie mit zwei, drei Beispielsätzen, bevor Sie echte Daten verwenden.

1. Fehler abfangen. Läuft der Dienst nicht oder dauert die Antwort zu lang, soll das Programm eine verständliche Meldung geben und nicht abstürzen. Siehe Zeitüberschreitung behandeln.

1. Antwort prüfen. Erwartet das Programm eine bestimmte Struktur (zum Beispiel eine Liste von Feldern), muss es sie vor der Weiterverarbeitung kontrollieren. Siehe KI-Ausgaben prüfen.

1. Mit echten Beispielen erproben. Lassen Sie 20 typische Texte verarbeiten und kontrollieren Sie die Ergebnisse von Hand.

Vorlage zum Kopieren

Ein einfaches Muster für Ihre IT-Fachperson. Die eckigen Klammern sind Platzhalter, die durch Ihre Angaben ersetzt werden:

import ollama

modell = "[Modellname laut ollama list]"
text = "[Text, den die KI bearbeiten soll]"

try:
    antwort = ollama.chat(
        model=modell,
        messages=[
            {"role": "system", "content": "Du bist ein Assistent im Büro. Antworte auf Deutsch (Schweiz), in der Sie-Form, kurz und sachlich."},
            {"role": "user", "content": "[Auftrag, z. B. Fasse den folgenden Text in drei Sätzen zusammen:]\n\n" + text},
        ],
    )
    print(antwort["message"]["content"])
except Exception as fehler:
    print("Die lokale KI ist nicht erreichbar oder hat einen Fehler gemeldet:", fehler)

Ersetzen Sie Modellname, Text und Auftrag. Das Muster ist bewusst einfach; für den Alltag fügt die IT-Fachperson Zeitgrenze, Protokoll und Prüfung der Antwort hinzu. Läuft Ollama auf einem anderen Rechner, ist dort zusätzlich die Adresse des Dienstes anzugeben.

Worauf Sie achten müssen

• Ollama muss laufen: Ohne laufenden Dienst gibt es einen Verbindungsfehler. Hilfe: Ollama: Verbindung abgelehnt.
• Erste Antwort dauert länger: Beim ersten Aufruf lädt das Modell in den Speicher. Spätere Aufrufe sind meist schneller.
• Antworten sind nicht immer gleich: Dieselbe Frage kann unterschiedliche Antworten liefern. Planen Sie Prüfungen ein.
• Datenschutz: Der Text bleibt auf dem Rechner beziehungsweise im Netz, in dem Ollama läuft. Prüfen Sie dennoch, wer Zugriff auf Protokolle und Ordner hat.
• Keine Zugangsdaten in Skripten: Passwörter oder Schlüssel gehören nicht in den Programmtext.
• Sicherheit im Netz: Wird der Dienst von anderen Rechnern genutzt, muss der Zugang geschützt sein. Siehe Ollama im Firmennetz.

Ein Beispiel aus der Praxis

Ein Beispiel: Das Planungsbüro in Chur lässt sein Python-Werkzeug 50 kurze Projektnotizen pro Woche zu Berichtsabsätzen formulieren. Der Mitarbeiter nutzt das Muster, ergänzt eine Zeitgrenze und speichert jede Antwort mit der ursprünglichen Notiz in einer Tabelle.

Vorher: Jede Notiz wird von Hand ausformuliert, rund zwei Stunden pro Woche. Nachher: Das Programm erzeugt die Entwürfe in wenigen Minuten, Frau Müller liest sie durch und passt an. Beim Test mit 20 Notizen findet sie drei Entwürfe mit erfundenen Details. Der Mitarbeiter ergänzt die Anweisung «Nutze nur Angaben aus der Notiz», und der Fehler tritt nicht mehr auf.

So hilft Ihnen Alpasana

Wenn Ihr Betrieb kleine Werkzeuge mit lokaler KI braucht, kann ready4future ICT unterstützen. Im betreuten ICT-Praxisjahr setzen begleitete Informatiklernende Skripte, Automatisierungen, Schnittstellen, Datenaufbereitung und KI-Workflows um. Fachliche Begleitung, Vier-Augen-Prüfung, Dokumentation und Kundenabnahme gehören zum beschriebenen Vorgehen; als Standard dienen Testdaten, anonymisierte oder synthetische Daten.

Das Angebot ist primär remote und als Jahrespaket beschrieben.

Häufige Fragen

Braucht es das Paket «ollama», oder geht es auch ohne?

Es geht auch ohne: Ollama bietet eine Webschnittstelle, die jedes Programm mit einer HTTP-Anfrage ansprechen kann. Das Paket vereinfacht das nur und ist für den Einstieg bequemer.

Kann das Programm Antworten in einem festen Format verlangen?

Ja, Ollama kann in neueren Versionen strukturierte Ausgaben erzwingen. Prüfen Sie trotzdem jede Antwort im Programm, denn ein Format garantiert noch keinen richtigen Inhalt.

Läuft das auch auf einem anderen Rechner als Ollama?

Ja, wenn Ollama über das Netz erreichbar ist und der Zugang geschützt wird. Für den Einstieg ist es einfacher, beides auf demselben Rechner zu betreiben.