Literaturreview: Einschlusskriterien mit KI präzisieren

Das Problem

Frau Keller begleitet ein Literaturreview, also eine geordnete Auswertung vorhandener Forschung. Im Auswahlplan steht, dass «relevante, aktuelle und hochwertige Studien» aufgenommen werden. Bei der ersten Sichtung verstehen die Studierenden darunter jedoch Verschiedenes.

Unklare Kriterien führen zu wechselnden Entscheidungen. Besonders problematisch wird es, wenn eine Studie wegen ihres unerwünschten Ergebnisses ausgeschlossen wird, obwohl sie zur Forschungsfrage passt. Eine KI kann solche Unklarheiten mit scheinbar eindeutigen Urteilen verdecken.

Die Aufgabe ist deshalb, beobachtbare Auswahlregeln vor der eigentlichen Sichtung festzulegen. Studierende sollen angeben können, welche Textinformation eine Aufnahme oder einen Ausschluss begründet und wann die verfügbare Information noch nicht ausreicht.

So lösen Sie es mit KI – Schritt für Schritt

1. Öffnen Sie Forschungsfrage und Arbeitsauftrag. Schreiben Sie auf, welche Personen, Themen, Kontexte und Untersuchungsarten die Frage abdeckt. Ein Review-Protokoll, also der vorab festgehaltene Arbeitsplan, bewahrt diese Entscheidungen für die spätere Kontrolle.

1. Formulieren Sie jedes Kriterium einzeln. Ersetzen Sie Wörter wie «geeignet» durch nachvollziehbare Merkmale. Halten Sie etwa fest, welcher Bildungskontext untersucht sein muss, statt nur «bildungsbezogene Studien» zu verlangen.

1. Begründen Sie Einschränkungen. Prüfen Sie Zeiträume, Sprachen und Dokumenttypen besonders sorgfältig. Solche Grenzen können aus der Frage oder aus verfügbaren Mitteln entstehen; beides soll erkennbar bleiben und darf nicht als natürliche Eigenschaft des Forschungsfelds ausgegeben werden.

1. Lassen Sie KI Mehrdeutigkeiten suchen. Geben Sie Kriterien ohne vertrauliches Forschungsmaterial ein. Verlangen Sie zu jeder Regel einen klaren Fall, einen Gegenfall und einen Grenzfall; prüfen Sie selbst, ob diese Beispiele die beabsichtigte Abgrenzung treffen.

1. Führen Sie eine gemeinsame Probesichtung durch. Lassen Sie Personen zunächst unabhängig entscheiden und danach ihre Begründungen vergleichen. Unterschiedliche Urteile zeigen, welche Definition noch geschärft werden muss; sie sind kein Anlass, die Entscheidung blind an KI abzugeben.

1. Definieren Sie den Umgang mit fehlenden Angaben. Ein Abstract kann wichtige Informationen auslassen. Legen Sie fest, wann eine Volltextprüfung nötig ist, und unterscheiden Sie «nicht erfüllt» von «noch nicht feststellbar».

1. Halten Sie die geprüfte Fassung fest. Versehen Sie die Kriterien mit Datum und dokumentieren Sie spätere Änderungen samt Grund. Prüfen Sie danach auch bereits gesichtete Texte erneut, wenn die neue Regel deren Auswahl verändern könnte.

Vorlage zum Kopieren

Ich plane eine Lehrübung zur Studienauswahl.
Forschungsfrage: [Frage]
Review-Art und Rahmen: [Angaben]
Entwurf der Kriterien: [Kriterien]
Prüfen Sie jedes Kriterium auf Eindeutigkeit und Bezug zur Forschungsfrage.
Ausgabe: Kriterium | beobachtbares Merkmal | Einschlussfall | Ausschlussfall |
Grenzfall | benötigte Information | offene Entscheidung.
Erfinden Sie keine verbindlichen Fachstandards. Beurteilen Sie nicht danach,
ob Ergebnisse erwünscht sind. Fehlende Informationen sind nicht automatisch
Ausschlussgründe. Formulieren Sie Rückfragen für unsere Probesichtung.

Ersetzen Sie die Platzhalter durch Ihre Lehrsituation und ausschliesslich durch zur Nutzung freigegebene Inhalte.

Welche Formulierung lässt sich anwenden?

Methodische Qualität und thematische Passung sind unterschiedliche Fragen. Eine Studie kann zur Auswahl passen und dennoch deutliche methodische Schwächen haben, die später bei der Gewichtung berücksichtigt werden müssen. Vereinbaren Sie mit der Betreuung, wie solche Bewertungen zum gewählten Review-Typ passen.

Das Cochrane-Handbuch bietet Orientierung zur geordneten Studienauswahl bei systematischen Reviews. Ein Seminarreview sollte seinen Umfang offen benennen und nicht ohne entsprechende Arbeit den Anspruch einer umfassenden systematischen Übersicht erheben.

Worauf Sie achten müssen

• Daten begrenzen: Geben Sie keine Personendaten von Studierenden oder Schülerinnen und Schülern in öffentliche KI-Dienste ein. Verwenden Sie für Lehrübungen erfundene Fälle oder freigegebenes Material; prüfen Sie auch Kommentare und angehängte Dateien.
• Fehler erkennen: KI kann plausible, aber falsche Aussagen erzeugen. Eine flüssige Erklärung, eine Quellenangabe oder eine selbst vergebene Sicherheitseinstufung ersetzt keine Kontrolle am Ausgangsmaterial.
• Eigenständigkeit erhalten: Lassen Sie Lernende zuerst einen eigenen Vorschlag festhalten und danach eine Änderung begründen. Besprechen Sie Unsicherheiten persönlich, statt eine KI-Rückmeldung als Urteil über die Person zu behandeln.
• Zugang fair gestalten: Stellen Sie bei Lehrveranstaltungen eine gleichwertige Arbeitsmöglichkeit ohne privaten Bezahlzugang bereit. Klären Sie bei jüngeren Teilnehmenden zusätzlich die Altersbedingungen und die notwendige Begleitung.
• Örtliche Regeln klären: An Schweizer Hochschulen und PH gelten die Vorgaben der jeweiligen Institution und des Moduls; kantonale Rahmenbedingungen können unterschiedlich sein. Klären Sie zulässige Hilfsmittel, Offenlegung und offene Rechtsfragen mit den zuständigen Fachstellen im Einzelfall.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: In einem Forschungsseminar in Fribourg sollen Studien zum Lernen an Hochschulen ausgewählt werden. Ein Team nimmt berufliche Weiterbildung auf, ein anderes schliesst sie aus. Beide berufen sich auf das Wort «Erwachsenenbildung» im Kriterienentwurf.

Frau Keller lässt die Forschungsfrage präzisieren. Das Team legt anschliessend fest, welcher institutionelle Kontext gemeint ist, dokumentiert die Änderung und prüft frühere Entscheidungen erneut. Die Auswahl wird dadurch nachvollziehbarer, ohne dass die KI eine fachliche Grenze erfunden hat.

So hilft Ihnen Alpasana

Mit Prompt Engineering können Sie die dafür nötige KI-Arbeitsweise üben. Sie üben, Aufgabe, Kontext, Ziel und Ausgabeformat klar zu beschreiben, komplexe Arbeiten aufzuteilen und Antworten zu überprüfen. Daraus entsteht ein getestetes Set wiederverwendbarer Arbeitsanweisungen; Programmierkenntnisse sind dafür nicht erforderlich.

Für Frau Keller ist das eine Grundlage, um eigene Lehrvorlagen bewusster zu gestalten und Ergebnisse nachvollziehbar zu kontrollieren. Die fachliche Beurteilung wissenschaftlicher Arbeiten und die Freigabe durch Ihre Hochschule bleiben bei den dafür zuständigen Personen.

Häufige Fragen

Darf ich Kriterien nach Beginn noch ändern?

Eine begründete Änderung kann notwendig sein, sollte aber sichtbar dokumentiert werden. Prüfen Sie ihre Folgen für bereits bearbeitete Texte und klären Sie wesentliche Anpassungen mit der Betreuung.

Wie viele Kriterien sind sinnvoll?

So viele wie nötig, um die Forschungsfrage nachvollziehbar abzugrenzen. Zusätzliche Regeln sind nur hilfreich, wenn sie einen fachlichen Zweck haben und mit den verfügbaren Informationen angewendet werden können.

Kann KI die Probesichtung ersetzen?

Sie kann Grenzfälle vorschlagen, ersetzt aber nicht den Vergleich menschlicher Entscheidungen. Erst dieser zeigt, ob verschiedene Personen dieselbe Regel ähnlich verstehen und begründet anwenden.

Für den nächsten Arbeitsschritt helfen Ihnen KI beim Abstract-Screening: Übersehene Studien vermeiden und Literatursuche mit KI nachvollziehbar protokollieren: Vorlage.