KI beim Abstract-Screening: Übersehene Studien vermeiden

Das Problem

Frau Keller begleitet eine Literatursichtung mit vielen Treffern. Eine KI ordnet Abstracts, also kurze Studienzusammenfassungen, scheinbar mühelos in passende und unpassende Texte. Die übersichtliche Liste macht es verlockend, nur noch die vorgeschlagenen Treffer zu lesen.

Beim Screening wird entschieden, welche Texte für die nächste Prüfung infrage kommen. Ein falscher Ausschluss kann dazu führen, dass eine wichtige Studie aus dem gesamten Review verschwindet. Solche Fehler sind später schwer zu bemerken, weil der ausgeschlossene Text in der Synthese nicht mehr auftaucht.

Die Lehrübung soll deshalb gerade die übersehenen Fälle sichtbar machen. Ein Prüfverfahren muss vor der Bearbeitung feststehen und darf sich nicht darauf verlassen, wie sicher die KI ihre eigene Entscheidung formuliert.

So lösen Sie es mit KI – Schritt für Schritt

1. Öffnen Sie die vereinbarten Auswahlkriterien. Stellen Sie sicher, dass alle Beteiligten dieselbe datierte Fassung verwenden. Legen Sie die Kategorien «weiter prüfen», «Ausschlussvorschlag» und «unklar» fest; die KI-Ausgabe bleibt zunächst ausdrücklich vorläufig.

1. Bereiten Sie eindeutige Datensätze vor. Geben Sie jedem Treffer eine Kennung und halten Sie Titel und Abstract zusammen. Prüfen Sie fehlende oder abgeschnittene Texte, bevor sie an ein freigegebenes Werkzeug gehen; fehlende Angaben dürfen nicht als nicht erfülltes Kriterium erscheinen.

1. Fordern Sie regelbezogene Begründungen. Die KI soll für jeden Vorschlag das betroffene Kriterium und eine Textstelle nennen. Ein thematisches Schlagwort allein reicht nicht, um den untersuchten Kontext oder die Art der Studie zu bestimmen.

1. Kontrollieren Sie zunächst bekannte Fälle. Stellen Sie für eine Lehrübung geeignete, ungeeignete und schwierige Beispiele zusammen, die Sie selbst beurteilt haben. Vergleichen Sie die Vorschläge und besprechen Sie, welche Arten von relevanten Studien die KI übersieht.

1. Prüfen Sie Ausschlüsse menschlich nach. Lassen Sie im hier vorgeschlagenen Lehrablauf jeden Ausschlussvorschlag anhand des Abstracts kontrollieren. Unklare Fälle gehen weiter zur Volltextprüfung; Anforderungen an unabhängige Doppelprüfungen richten sich nach dem vereinbarten Review-Verfahren.

1. Untersuchen Sie Fehlklassifikationen. Eine Fehlklassifikation ist eine falsche Zuordnung. Notieren Sie deren Ursache, beispielsweise eine unbekannte Fachbezeichnung oder eine übersehene Zielgruppe, und prüfen Sie vergleichbare Datensätze erneut.

1. Speichern Sie Entscheidungen getrennt. Bewahren Sie KI-Vorschlag, menschliches Urteil, Begründung und offene Fragen in eigenen Feldern auf. Eine geänderte Anweisung darf alte Entscheidungen nicht unsichtbar überschreiben; die endgültige Auswahl bleibt nachvollziehbar.

Vorlage zum Kopieren

Ich bereite eine kontrollierte Lehrübung zum Abstract-Screening vor.
Datierte Kriterien: [Kriterien]
Freigegebene Texte mit Kennungen: [Titel und Abstracts]
Erstellen Sie nur vorläufige Vorschläge:
Kennung | weiter prüfen / Ausschlussvorschlag / unklar | Kriterium |
wörtliche kurze Belegstelle | fehlende Information | Rückfrage.
Fehlende Angaben bedeuten nicht, dass ein Kriterium nicht erfüllt ist.
Verwerfen Sie keine Datensätze und erfinden Sie keine Volltextinformationen.
Eine abschliessende Entscheidung trifft die menschliche Sichtung.
Nennen Sie besonders mögliche Gründe für einen fälschlichen Ausschluss.

Ersetzen Sie die Platzhalter durch Ihre Lehrsituation und ausschliesslich durch zur Nutzung freigegebene Inhalte.

Welche Fälle dürfen nicht still verschwinden?

Eine Stichprobe aus ausgeschlossenen Texten kann Fehler aufdecken, beweist aber nicht, dass alle übrigen Ausschlüsse richtig sind. Für eine einfache Lehrübung ist deshalb eine überschaubare Treffermenge mit vollständiger menschlicher Kontrolle sinnvoll. Grössere Vorhaben benötigen ein methodisch begründetes und fachlich betreutes Verfahren.

Das Cochrane-Handbuch zur Studienauswahl behandelt Auswahlverfahren und den Einsatz unterstützender Werkzeuge. Die hier vorgeschlagene Übung ist keine pauschale Freigabe für automatisierte Ausschlüsse.

Worauf Sie achten müssen

• Daten begrenzen: Geben Sie keine Personendaten von Studierenden oder Schülerinnen und Schülern in öffentliche KI-Dienste ein. Verwenden Sie für Lehrübungen erfundene Fälle oder freigegebenes Material; prüfen Sie auch Kommentare und angehängte Dateien.
• Fehler erkennen: KI kann plausible, aber falsche Aussagen erzeugen. Eine flüssige Erklärung, eine Quellenangabe oder eine selbst vergebene Sicherheitseinstufung ersetzt keine Kontrolle am Ausgangsmaterial.
• Eigenständigkeit erhalten: Lassen Sie Lernende zuerst einen eigenen Vorschlag festhalten und danach eine Änderung begründen. Besprechen Sie Unsicherheiten persönlich, statt eine KI-Rückmeldung als Urteil über die Person zu behandeln.
• Zugang fair gestalten: Stellen Sie bei Lehrveranstaltungen eine gleichwertige Arbeitsmöglichkeit ohne privaten Bezahlzugang bereit. Klären Sie bei jüngeren Teilnehmenden zusätzlich die Altersbedingungen und die notwendige Begleitung.
• Örtliche Regeln klären: An Schweizer Hochschulen und PH gelten die Vorgaben der jeweiligen Institution und des Moduls; kantonale Rahmenbedingungen können unterschiedlich sein. Klären Sie zulässige Hilfsmittel, Offenlegung und offene Rechtsfragen mit den zuständigen Fachstellen im Einzelfall.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: In einem Seminar in Lausanne sortiert eine KI eine relevante Studie aus, weil der Abstract eine ungewohnte englische Bezeichnung für Berufseinsteigende verwendet. Frau Keller lässt die Ausschlussbegründung mit dem Auswahlkriterium vergleichen.

Die Gruppe erkennt, dass aus dem fehlenden erwarteten Schlüsselwort auf eine falsche Zielgruppe geschlossen wurde. Sie nimmt den Text zur Volltextprüfung auf und kontrolliert ähnliche Ausschlüsse erneut. Zugleich verbessert sie die Erläuterung des Kriteriums.

So hilft Ihnen Alpasana

Mit KI und IT für konkrete Arbeitsaufgaben können Sie die dafür nötige KI-Arbeitsweise üben. Das Angebot umfasst unter anderem Datenverständnis, strukturierte Arbeit mit KI, Qualitätsprüfung und Einsatzregeln. Praxisaufgaben helfen Ihnen, die Prüfung von Ergebnissen in einen wiederholbaren Arbeitsablauf zu übersetzen.

Für Frau Keller ist das eine Grundlage, um eigene Lehrvorlagen bewusster zu gestalten und Ergebnisse nachvollziehbar zu kontrollieren. Die fachliche Beurteilung wissenschaftlicher Arbeiten und die Freigabe durch Ihre Hochschule bleiben bei den dafür zuständigen Personen.

Häufige Fragen

Ist eine hohe KI-Sicherheitsangabe beruhigend?

Sie ist kein unabhängiger Qualitätsnachweis. Entscheidend sind die überprüfbare Textgrundlage und die Fehler, die im eigenen Verfahren tatsächlich auftreten.

Kann ich nur die aufgenommenen Studien kontrollieren?

Dann bleiben falsche Ausschlüsse weitgehend unsichtbar. Planen Sie die Kontrolle gerade dort ein, wo eine relevante Studie aus dem weiteren Prozess verschwinden könnte.

Was tue ich bei verschiedenen menschlichen Urteilen?

Vergleichen Sie zunächst die angewendeten Kriterien und Fundstellen. Bleibt die Frage offen, nutzen Sie den vorgesehenen Klärungsweg mit der Betreuung oder einer weiteren fachlichen Prüfung.

Für den nächsten Arbeitsschritt helfen Ihnen Literaturreview: Einschlusskriterien mit KI präzisieren und Literaturreview: Studienmatrix mit KI am Volltext überprüfen.