Transformer

Definition

Ein Transformer ist ein bestimmter Aufbau eines neuronalen Netzes. Er wurde 2017 in einer Forschungsarbeit mit dem Titel «Attention Is All You Need» beschrieben. Seither beruhen viele grosse Sprachmodelle darauf, ebenso viele Modelle für Bilder und Sprache.

Mit der Elektrotechnik hat der Name nichts zu tun. «Transformer» bezieht sich darauf, dass Eingaben schrittweise in andere Darstellungen umgewandelt werden.

Einfach erklärt

Beim Lesen eines Satzes wie «Die Kundin sagte der Mitarbeiterin, sie solle sie zurückrufen» müssen Sie erkennen, wer mit «sie» gemeint ist. Dazu achten Sie auf Zusammenhänge im ganzen Satz.

Genau das macht der Transformer mit seiner Attention (auf Deutsch Aufmerksamkeit): Er gewichtet, welche Wörter für das Verständnis eines anderen Wortes wichtig sind, und zwar im gesamten Text zugleich. Ältere Verfahren lasen Wort für Wort und verloren bei langen Texten leichter den Faden.

Die Folge: Transformer lassen sich gut auf sehr grossen Datenmengen trainieren und verarbeiten längere Zusammenhänge besser. Deshalb haben sie viele Verfahren verdrängt.

Beispiel

Ein Beispiel: Eine Mitarbeiterin im Kundendienst fragt sich, warum eine KI lange E-Mails oft gut zusammenfasst und Bezüge zwischen Absätzen erkennt. Die Antwort lautet: Die Attention des Transformers kann Zusammenhänge im ganzen Text berücksichtigen. Fehler passieren trotzdem, denn die KI rechnet mit Wahrscheinlichkeiten. Die Zusammenfassung prüft sie daher stets am Original.

Nicht verwechseln

Ein Transformer ist kein fertiges KI-Produkt und nicht gleichbedeutend mit «KI». Es gibt auch andere Modellarten. Ein Transformer ist ebenfalls nicht dasselbe wie ein Decoder: Dieser Begriff bezeichnet einen Teil, der Ausgaben erzeugt, und viele Sprachmodelle nutzen vor allem solche Decoder-Bausteine. Wer nur die Bedienung eines Chatbots kennenlernen will, braucht die Technik nicht im Detail zu verstehen. Es genügt zu wissen, dass das Ergebnis auf Wahrscheinlichkeiten beruht und geprüft werden muss.

So hilft Ihnen Alpasana

Wer KI-Grundlagen strukturiert lernen möchte, findet im Angebot KI-Weiterbildung mit verifizierbarem Lernnachweis von absofort Lernwege mit Praxisaufgaben, Modul-Quizzen und KI-Lerncoach. Foundation-Angebote setzen keine Vorkenntnisse voraus, und der Abschluss ist über ein Zertifikat mit öffentlicher Verifikation nachweisbar.