Workshop: Phasen der Vor- und Nachbereitung von MC-Aufgaben (Andrea Kirchberg, Claudia Frie, TA Felix Ehrich)

Im Teilworkshop „Phasen der Vor- & Nachbereitung von MC-Aufgaben“ erarbeiteten zwei Gruppen einen Zeitplan für den Einsatz von MC-Fragen in Klausuren, um deren Qualität sicherzustellen. Dabei differenziert man zweckmäßig die Phasen vor und während der Erstellung der Prüfungsinhalte, die eigentliche Prüfungsdurchführung sowie die Nachbereitung der Fragen, wobei letzteres erst einmal ungewöhnlich erscheint, weil es ja gerade definitorisch für geschlossene Fragen ist, dass sie (v.a. bei elektronischer Unterstützung) automatisch ausgewertet werden.

Die Entscheidung, ob in einer Prüfung MC-Fragen verwendet werden, sollte schon so früh wie möglich im Rahmen der Vorbereitung der zugrundeliegenden Lehrveranstaltung und der Formulierung ihrer Lernziele getroffen werden, weil gerade die Prozesse der Umstellung von offenen auf geschlossene Fragen sehr zeitaufwendig sind. Existieren bereits Fragenpools oder liegt sogar ein sog. „Blueprint“ vor, der die thematische Zusammensetzung der Prüfungsinhalte sowie deren Gewichtung bei der Bewertung vorgibt, lässt sich ein Test sehr effizient zusammenstellen. Außerdem sollten die Studierenden möglichst früh über die Prüfungsform und damit darüber informiert werden, dass eine Klausur im MC-Format und ggf. elektronisch gestützt stattfinden wird.

In der Phase der eigentlichen Fragenerstellung muss abgewogen und evtl. in Pilotversuchen ermittelt werden, ob die vorgesehenen Fragen dem Wissensniveau der kommenden Prüfung angemessen sind. Darüber hinaus hat die kollegiale Begutachtung der Inhalte zu erfolgen, während die Prüfungsverantwortlichen die formale Überprüfung der Gestaltung der Fragen auch auf eine Service-Einrichtung übertragen kann, die ohnehin die Durchführung der Prüfung organisiert. Die Vorbereitung der Studierenden auf die zu erwartenden Aufgabenformate sowie die Erläuterung der damit einhergehenden Bewertungskriterien sollte ebenfalls in diese Phase fallen, wofür sich v. a. Probeklausuren oder Nutzungseinweisungen eignen. In deren Rahmen kann – neben einer klaren, eindeutigen und möglichst verständlichen Formulierung der Fragen – auch z.B. auf internationale Studierende im notwendigen Maße eingegangen werden. Als problematisch wurde angesehen, dass die erwähnten Prozesse der inhaltlichen und formalen Begutachtung an den meisten Standorten noch nicht oder zumindest nicht systematisch implementiert sind.

Bei einer sorgfältigen Vorbereitung (auch der Studierenden durch die Inanspruchnahme einer Probeklausur) sollte die eigentliche Durchführung einer MC-Klausur ohne Probleme verlaufen, wenn hinsichtlich der übrigen Rahmenbedingungen sichergestellt ist, dass alle Teilnehmenden gleichen und fairen Bedingungen unterliegen.

Ebenso wichtig für die Qualitätssicherung der Prüfungsinhalte wie die Vorbereitung ist die Nachbereitung in dem Sinne, dass die sich aus dem realen Abschneiden der Studierenden ergebende Schwierigkeit der Fragen mit der erwarteten verglichen wird. Dabei auftretende große Abweichungen können auf Lerndefizite der Teilnehmenden, aber auch auf formale Mängel wie eine verwirrende Gestaltung, nicht eindeutige Instruktionen oder Antwortoptionen sowie falsch hinterlegte Bewertungen hindeuten. Als weiterer wichtiger Güteparameter gibt die Trennschärfe an, ob eine Frage gute und schlechte Studierende differenzieren kann oder ob diese z.B. so schwierig ist, dass sie unabhängig von seiner Leistung im übrigen Test niemand richtig beantwortet hat. Diese Itemanalyse hat also ein großes Potenzial, ist aber an vielen Standorten noch nicht hinreichend bekannt oder steht gerade in den E-Prüfungssystemen noch nicht zur Verfügung, die sich von Lern-Management-Systemen ableiten. Durch Kommentierungsmöglichkeiten während der Prüfung oder auch später z.B. im Rahmen von Klausureinsichten können studentische Rückmeldungen gesammelt werden, die mit der Itemstatistik wertvolle Hinweise dafür geben, die endgültigen Bewertungskriterien anzupassen und die Fragen im Interesse einer erneuten Verwendung zu optimieren.