Projektfeedback mit KI für das NGO-Monitoring auswerten

Das Problem

Ihr Projekt hat Rückmeldungen gesammelt: 150 Antwortbögen mit Freitext, Notizen aus Gesprächen, Nachrichten von Teilnehmenden. Die Geldgeberin erwartet einen Bericht darüber, was gut läuft, was nicht und was sich ändern soll. Sie lesen die ersten 30 Rückmeldungen und merken: Das kostet Tage, und man verliert den Überblick.

Freitext ist wertvoll, weil Menschen in ihren eigenen Worten schreiben, was sie bewegt. Er ist aber schwer auszuwerten. Zählen lässt sich nur, was man in Kategorien einordnet. Und ein Fehler passiert schnell: Man hebt hervor, was zur eigenen Erwartung passt, und überliest Kritik.

KI kann helfen, grosse Textmengen zu ordnen: Themen finden, Beispiele sammeln, Zusammenfassungen entwerfen. Aber sie darf nicht allein entscheiden, und die Daten sind oft sensibel. Mit einem sorgfältigen Vorgehen entsteht eine Auswertung, die ehrlich und nachvollziehbar ist.

So lösen Sie es mit KI – Schritt für Schritt

1. Legen Sie die Fragen fest. Was wollen Sie aus den Rückmeldungen lernen? Zum Beispiel: Was hat geholfen? Was fehlt? Welche Hindernisse gab es? Die Auswertung folgt diesen Fragen.

1. Prüfen Sie Einwilligung und Zweck. Wurden die Teilnehmenden informiert, wofür ihre Rückmeldungen verwendet werden? Ist die Auswertung mit Hilfe von KI abgedeckt? Bei besonders schützenswerten Angaben ist besondere Sorgfalt nötig.

1. Anonymisieren Sie die Daten. Entfernen Sie Namen, Kontaktdaten, Orte, Namen Dritter, Gesundheits- und andere sensible Angaben. Prüfen Sie die Texte auf Details, die jemanden erkennbar machen. Siehe Anonymisieren und Pseudonymisieren und Fallgeschichten anonymisieren. Verwenden Sie freigegebene Werkzeuge.

1. Beschränken Sie die Datenmenge. Nur, was Sie brauchen: die Antworten auf die relevanten Fragen, mit einer Kennung statt Namen. Metadaten wie Alter oder Ort grob halten (Altersgruppe statt Geburtsdatum).

1. Lesen Sie zuerst selbst. Nehmen Sie eine Stichprobe von 20 bis 30 Rückmeldungen und notieren Sie Themen, die auffallen. So bekommen Sie ein Gefühl und können die KI-Vorschläge besser beurteilen.

1. Lassen Sie die KI Themen vorschlagen. Geben Sie die anonymisierten Texte (in Portionen) und bitten Sie um mögliche Themen mit Beispielen. Siehe Vorlage. Sie liefert eine Liste von Kategorien, die Sie prüfen und anpassen.

1. Legen Sie Kategorien endgültig fest. Fassen Sie zusammen, was zusammengehört, trennen Sie, was Unterschiedliches meint. Schreiben Sie eine Kurzdefinition je Kategorie und ein Beispiel. Eine Kategorie «Sonstiges» für Unpassendes.

1. Ordnen Sie die Rückmeldungen zu. Die KI kann einen ersten Vorschlag machen, welche Rückmeldung zu welcher Kategorie gehört. Prüfen Sie eine Stichprobe (zum Beispiel jede zehnte) von Hand und berechnen Sie, wie oft die KI falsch lag. Bei vielen Fehlern: Kategorien klarer fassen oder von Hand zuordnen.

1. Zählen und belegen Sie. Wie oft kommt jedes Thema vor? Sammeln Sie typische Zitate (anonymisiert) als Belege. Rechnen Sie wichtige Zahlen selbst nach.

1. Dokumentieren Sie Kritik und Gegenstimmen. Ausdrücklich: Was wurde kritisiert, was war widersprüchlich, was fehlt? Eine Auswertung, die nur Gutes berichtet, ist wenig glaubwürdig. Siehe Wirkungsbericht mit KI.

1. Besprechen Sie die Ergebnisse im Team und, wenn möglich, mit Teilnehmenden. Was bedeutet das? Was ändern wir? Rückmeldungen ernst zu nehmen heisst, darauf zu reagieren.

Auswertung in Etappen:

Vorlage zum Kopieren

Mit diesem Prompt lassen Sie Themen vorschlagen. Verwenden Sie nur vollständig anonymisierte Texte.

Du hilfst einer Non-Profit-Organisation in der Schweiz bei der Auswertung von Freitext-Rückmeldungen aus einem Projekt ([Projektart]). Deutsch (Schweiz).
Auswertungsfragen: [z. B. Was hat geholfen? Was fehlt? Welche Hindernisse gab es?].
Hier sind anonymisierte Rückmeldungen (Kennung, Text): [Texte einfügen, höchstens 30 auf einmal].
Aufgaben: 1. Schlage 6 bis 10 Themen (Kategorien) vor, mit Kurzdefinition und je zwei Beispielzitaten aus den Texten.
2. Ordne jede Rückmeldung einer oder mehreren Kategorien zu (Tabelle: Kennung, Kategorie, Tonalität positiv/gemischt/kritisch).
3. Nenne ausdrücklich Rückmeldungen, die Kritik, Widersprüche oder Besonderheiten enthalten, und fasse die Kritik fair zusammen.
4. Markiere unklare Rückmeldungen mit [unklar] statt zu raten.
Verwende nur die Texte. Erfinde keine Zitate. Gib Zitate wörtlich wieder.

Prüfen Sie Zuordnung und Zitate an einer Stichprobe selbst; bei Abweichungen ändern Sie die Kategorien oder ordnen von Hand zu.

Worauf Sie achten müssen

• Datenschutz. Rückmeldungen von Begünstigten enthalten oft sensible Angaben (Gesundheit, Lebenslage, Migration). Nach dem Datenschutzgesetz (DSG) gelten für besonders schützenswerte Daten hohe Anforderungen. Anonymisieren Sie vor der Eingabe und verwenden Sie nur freigegebene Werkzeuge; klären Sie unsichere Fälle mit einer Fachperson.
• Anonymisierung ist anspruchsvoll. Freitext verrät Menschen oft durch Details. Lesen Sie die Texte vor der Eingabe durch, und geben Sie im Zweifel nichts ein.
• KI übersieht Leises. Seltene, aber wichtige Hinweise (zum Beispiel auf Übergriffe oder Missstände) können in der Masse untergehen. Lesen Sie Rückmeldungen immer auch selbst und leiten Sie Hinweise auf Gefährdung sofort an die zuständige Person weiter.
• Falsche Zitate. KI kann Zitate verändern oder erfinden. Verwenden Sie nur Zitate, die Sie im Original gefunden haben.
• Macht und Zugang. Menschen antworten nicht immer offen, wenn sie von Ihrer Hilfe abhängen. Berücksichtigen Sie das bei der Interpretation und nutzen Sie vertrauliche Kanäle.
• Sprachen. Rückmeldungen in anderen Sprachen werden ungenauer ausgewertet. Lassen Sie sie, wenn möglich, von sprachkundigen Personen prüfen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Verein in Biel betreibt ein Sprachcafé für Zugewanderte. Nach einem Jahr hat er rund 120 Rückmeldebögen mit Freitext. Der Geldgeber verlangt eine Auswertung.

Vorher: Die Projektleiterin liest 20 Bögen und fasst «allgemein positiv» zusammen. Nachher: Sie anonymisiert die Texte, liest 25 selbst, lässt die KI Themen vorschlagen und legt acht Kategorien fest. Die Zuordnung prüft sie an jeder zehnten Rückmeldung. Das Ergebnis: Viele schätzen die Gesprächsrunden, aber mehrere Personen kritisieren die Termine am Abend, die für Berufstätige mit Kindern schwierig sind. Diese Kritik steht im Bericht, und das Team beschliesst eine zusätzliche Gruppe am Vormittag.

So hilft Ihnen Alpasana

Wenn Ihr Team lernen soll, Daten und Texte mit KI sauber auszuwerten, bietet absofort Praxiskurse zu konkreten Arbeitsaufgaben. Laut Beschreibung gehören Excel, Datenverständnis und Dashboards sowie Qualitätsprüfung und Einsatzregeln dazu, mit Praxisaufgaben und KI-Lerncoach. Mehr unter KI und IT für konkrete Arbeitsaufgaben.

Die Auswertung Ihrer Rückmeldungen verantwortet Ihr Projektteam. Der Kurs hilft beim kritischen Umgang mit Zahlen und KI-Ergebnissen.

Häufige Fragen

Wie viele Rückmeldungen soll ich der KI auf einmal geben?

Arbeiten Sie in kleinen Portionen, zum Beispiel 20 bis 30 Texte. So behalten Sie die Kontrolle, und die KI verliert weniger Details.

Darf ich Rückmeldungen mit Namen in ein KI-Werkzeug geben?

Nein. Anonymisieren Sie zuerst. Bei besonders sensiblen Daten gar nicht, es sei denn, Ihr Werkzeug ist ausdrücklich dafür geeignet und die Rechtslage ist geklärt.

Wie erkenne ich, ob die KI-Zuordnung gut ist?

Mit einer Stichprobe: Prüfen Sie jede zehnte Zuordnung von Hand und zählen Sie die Fehler. Bei vielen Fehlern verbessern Sie die Kategorien oder arbeiten manuell.

Was mache ich mit Hinweisen auf Gefährdung?

Sie gehen sofort an die zuständige Person oder Stelle nach Ihrem Schutzkonzept. Solche Hinweise dürfen nicht nur in einer Auswertung landen.