KI-gestützte Bewertung und Feedback auf studentische Texte [DiL]

Die Bewertung studentischer Texte und die individuelle Rückmeldung an Studierende gehören zu den zentralen, zugleich aber häufig zeitaufwendigen Aufgaben in der Hochschullehre. Generative KI eröffnet hier neue Möglichkeiten: Sie kann Texte anhand vorgegebener Kriterien analysieren, Rückmeldungen formulieren und Studierende bei der Überarbeitung ihrer Texte unterstützen. Damit daraus fachlich angemessenes und lernförderliches Feedback entsteht, müssen jedoch Lernziele, Bewertungskriterien, fachlicher Kontext und die jeweilige Zielgruppe sorgfältig berücksichtigt werden.
Die Teilnehmenden beschäftigen sich zunächst mit den Merkmalen guten und lernförderlichen Feedbacks und reflektieren ihre eigene Bewertungs- und Feedbackpraxis. An konkreten Beispielen wird anschließend erprobt, wie generative KI studentische Texte kriteriengeleitet einschätzen und darauf aufbauend Feedback sowie Hinweise für die weitere Überarbeitung formulieren kann. Dabei wird auch thematisiert, wo die Grenzen KI-gestützter Bewertung liegen und wie sich die Qualität der erzeugten Rückmeldungen überprüfen und optimieren lässt.
Im praktischen Teil entwickeln die Teilnehmenden für ein eigenes Lehrszenario Bewertungskriterien und geeignete Instruktionen für ein KI-Feedbacksystem. Sie konfigurieren ein entsprechendes Feedbackszenario und testen dieses an studentischen Beispieltexten. Im Mittelpunkt steht dabei nicht die Übertragung von Bewertungsverantwortung an ein KI-System, sondern die Frage, wie KI Lehrende und Studierende bei transparenten, kriteriengeleiteten und lernförderlichen Feedbackprozessen sinnvoll unterstützen kann.

• Merkmale effektiven und lernförderlichen Feedbacks
• Kriteriengeleitete Bewertung studentischer Texte mit Unterstützung generativer KI
• Entwicklung geeigneter Bewertungskriterien und KI-Instruktionen
• Konfiguration und Erprobung KI-gestützter Feedbackszenarien
• Überprüfung und Kalibrierung der Qualität KI-generierter Bewertungen und Rückmeldungen
• Entwicklung eines Einsatzszenarios für die eigene Lehre und Praxiserprobung

Das Seminar setzt exemplarisch auf die Arbeit mit dem KI-Tool LearnAssist, das auf Basis generativer Sprachmodelle KI-gestütztes Feedback für Lehrveranstaltungen ermöglicht. Anhand konkreter studentischer Texte wird erprobt, wie Aufgabenstellung, Bewertungskriterien, fachliche Grundlagen, Zielgruppe und weitere Kontextbedingungen so hinterlegt bzw. formuliert werden können, dass möglichst passendes und lernförderliches Feedback entsteht.
Die dabei erarbeiteten Prinzipien zur Gestaltung, Instruktion und Qualitätssicherung KI-gestützter Feedbackprozesse lassen sich grundsätzlich auch auf andere generative KI-Systeme übertragen.
Lernziele des Seminars
Die Teilnehmenden arbeiten im Rahmen des Seminars an folgenden Kompetenzen/nach dem Workshop können die Teilnehmenden:

• auf Grundlage von Wissen über effektives Feedback einen kriteriengeleiteten Feedbackprozess für studentische Texte planen und gestalten.
• Lernziele und Anforderungen in geeignete Kriterien für die Bewertung und Rückmeldung zu studentischen Texten übersetzen.
• ein KI-System so instruieren und mit Kontextinformationen versehen, dass dessen Rückmeldungen an Aufgabenstellung, Bewertungskriterien und Zielgruppe angepasst werden.
• KI-generierte Bewertungen und Feedbacks hinsichtlich ihrer fachlichen und didaktischen Qualität kritisch prüfen und kalibrieren.
• Möglichkeiten und Grenzen KI-gestützter Bewertung und Feedbackgabe einschätzen.
• ein geeignetes KI-gestütztes Feedbackszenario für die eigene Lehrveranstaltung entwickeln und erproben.

Hinweis:
Bitte kontaktieren Sie das ZHL der Universität Bayreuth im Vorfeld der Veranstaltung, wenn Sie einen eigenen kostenfreien Zugang zum verwendeten Feedbacktool LearnAssist benötigen. Falls vorhanden und möglich, können auch Beispiele studentischer Texte von den Teilnehmenden eingebracht werden sofern diese in anonymisierter Form vorliegen und keine Rückschlüsse auf Personen zulassen.

Im Anschluss an die Präsenzsitzung entwickeln und erproben die Teilnehmenden ein eigenes KI-gestütztes Feedbackszenario in ihrer Lehrveranstaltung. Grundlage sind eine konkrete studentische Textaufgabe, definierte Bewertungskriterien und eine entsprechend konfigurierte KI-Feedbacklösung.
Die Erfahrungen aus der Erprobung werden anschließend in einer kurzen Reflexion von ein bis zwei Seiten festgehalten. Dabei sollen insbesondere die Qualität und Passung des erzeugten Feedbacks, mögliche Abweichungen von der eigenen Einschätzung sowie notwendige Anpassungen des Feedbackszenarios reflektiert werden.
Der Arbeitszeitaufwand der asynchronen Aufgabe beträgt circa drei Stunden.
 
Kurzporträt des Referenten:
Carl-Christian Fey ist als Geschäftsführer des Zentrums für digitales Lehren und Lernen an der Universität Augsburg und beschäftigt sich in seiner Rolle intensiv mit Fragen der Digitalisierung in der Hochschullehre und der Lehramtsausbildung. Nach seinem Studium der Erziehungswissenschaften an der Universität Augsburg nahm er Lehr- und Forschungstätigkeiten als Wissenschaftlicher Mitarbeiter am Lehrstuhl für Schulpädagogik und am Lehrstuhl für Pädagogik mit Schwerpunkt Erwachsenen- und Weiterbildung war und promovierte im Fach Pädagogik über digitale Bildungsmedien. Er ist Autor des in der Lehramtsausbildung verbreiteten und bekannten Augsburger Analyse- und Evaluationsraster für analoge und digitale Bildungsmedien (AAER). Außerdem verfügt er über weitläufige Erfahrung in der Umsetzung von IT-Projekten und ist durch eine langjährige Tätigkeit als Technical-Consultant und Produktmanager für ein global operierendes IT-Unternehmen in verschiedensten Hardware- und Software-Themen zu Hause. Als Gründer der KI-gestützten Feedbackplattform LearnAssist und als Kooperationspartner bei der Entwicklung des KI-Prüfungssimulators der Universität Bayreuth beschäftigt er sich zudem intensiv mit den Chancen, KI konstruktiv in Lernprozesse einzubinden.