Qualitätssicherung von E-Assessment

Das Konstrukt „Qualität“ ist mehrdimensional und hat in Abhängigkeit vom Kontext verschiedene Bedeutungen. Deshalb verwundert es nicht, dass eine einheitliche Definition des Begriffs fehlt. Ein grobes, jedoch allgemeingültiges Verständnis liefert die ISO 9000 Norm, in der Qualität als die Übereinstimmung der zuvor festgelegten Ziele und der erreichten Resultate gesehen wird 1). Der Begriff ist positiv konnotiert, sodass intuitiv stets von hoher, d.h. guter Qualität ausgegangen wird.

Als erster Schritt zur Qualitätssicherung genügt nicht allein der Qualitätsanspruch.

Damit die eigenen E-Assessment-Anwendungen qualitativ hoch werden, bedarf es sorgfältigen Überlegungen auf der Motivations- und Planungsebene.

Die Qualitätssteigerung beginnt mit der Übereinstimmung von Ziel, Inhalt und Methode der Lehrveranstaltung. Zentrale Fragen wie z.B. „Was sollen StudentInnen danach können?“ oder „Welchen Beitrag kann meine Lehre zur beruflichen/wissenschaftlichen Qualifikation der StudentInnen leisten?“ sollten bei der Planung an erster Stelle stehen. Notwendigerweise muss die Veranstaltung an die Anforderungen des Konstrukts „Bachelor-/Master-Studiengang“ angepasst sein.

Häufig ist dazu eine grundlegende Überarbeitung und Umstrukturierung von Inhalten, Methoden und Zielen der traditionellen Studiengänge notwendig. Dieser teils zeitintensive Vorgang bildet die Grundlage für Qualitätssicherung. Wird er übergangen kann nicht von qualitativ hohem E-Assessment, sondern lediglich von einer hohen Qualität bspw. der Prüfungsitems gesprochen werden.

Darüber hinaus sollten auch die Ebenen „Durchführung“ und „Evaluation“ auf ein Qualitätsmaximum ausgerichtet sein.

Qualitätssicherung muss als zirkulärer Prozess aufgefasst werden, der kontinuierlich durchlaufen und überprüft werden muss. Auch wenn dies vor allem am Anfang zusätzliche Anstrengungen erfordert, so bildet sich doch nach ein paar Durchläufen ein Workflow heraus, der ebenso Ressourcen schont als auch ein effektives Risikomanagement sicherstellt, da für eventuelle Probleme Lösungsschemata bereitstehen.

In typisierter Form lässt sich folgendes allgemeines Schema von Prüfungen2) aufstellen, deren Prozessschritte alle Gegenstand von Qualitätssicherung sein sollten, wobei vor allem die Phasen Planung/ Entwicklung und Auswertung/ Evaluation stark aufeinander bezogen sind und das Hauptaugenmerk für Qualitätssicherungszirkel sein sollten.

Allgemeines Prozessmodell für Prüfungen

Motivation

  • Analyse der Lehre
  • Beratungen
  • Lernmaterialien
  • Mitarbeiterschulungen

Planung

  • Festlegung der Prüfungsart und Beurteilungskriterien (Prüfungs-Blueprint)
  • Fragenherstellung nach Vorgaben der Prüfungsinhalte
  • Vorrevision der Fragen (formal, sprachlich, inhaltlich)

Entwicklung

  • Eingeben /Programmieren der Frage in den Frageneditor
  • Grafische Umsetzung
  • Revision der Fragen
  • Vortest der Fragen
  • Zusammenstellung des Fragenpools

Administration

  • Prüfungsausschreibung
  • Informationen über Leistungsnachweis für Studierende
  • Anmeldung – Zugang zu Prüfungssystem
  • Erstellen der Kandidatenliste
  • Reservation des Prüfungsraums
Schema der Qualitätssicherung beim E-Assessment

Durchführung

  • Test des Leistungsnachweises
  • Probelauf für die Studierende
  • Bereitstellen des Leistungsnachweis
  • Durchführung
  • Prüfungsaufsicht
  • Datenübermittlung
  • Elektronische Aufbewahrung der ganzen Prüfung

Auswertung

  • Erste elektronische Auswertung/Beurteilung
  • Manuelle Auswertung bei Essay-Prüfungen
  • Analyse
  • Entscheide zur definitiven Bewertung
  • Definitive elektronische Auswertung/Bewertung
  • Nachprüfen der Prüfungsresultate (manuelle Stichproben)
  • Archivierung der Resultate
  • Feedback an die Kandidaten

Evaluation

  • Analyse/Bericht/Evaluation: Überprüfen der Gütekriterien
  • Nachlese und Verbesserungsvorschläge

Praktische Hinweise zur Qualitätssicherung

Im Folgenden ist näher erläutert, was die einzelnen Prozessebenen qualitativ hoch macht und woran man sich bei der Aufgabe eine gute Prüfung zu Entwerfen, Durchzuführen und Auszuwerten orientieren kann.

1) Rühl, W. J. (1998): ISO 9000 – Erfahrungsbericht aus einem technischen Entwicklungszentrum. In Hochschulrektorenkonferenz (Hrsg.): Qualitätsmanagement in der Lehre / TQL 98. Tagung des Hessischen Arbeitskreises 'Qualitätsmanagement in der Lehre' und der Hochschulrektorenkonferenz, Wiesbaden, 4. Februar 1998. Bonn: HRK
2) Ruedel, C.; Schiefner, M.; Noetzli, C.; Seiler Schiedt, E. (2007): Risikomanagement für E-Assessment. In: Marianne Merkt, Kerstin Mayrberger, Rolf Schulmeister, Angela Sommer, Ivo van den Berk (Hrsg.):Studieren neu erfinden – Hochschule neu denken. S. 180-190, S. 184ff.