Impulsvortrag: MC-Aufgaben - Relevante Fragetypen, Gestaltung und Erfassbarkeit von Lernzielen & Kompetenzen (Dr. Marlit A. Lindner)

Mit dem Vortrag „MC-Aufgaben - Relevante Fragetypen, Gestaltung und Erfassbarkeit von Lernzielen & Kompetenzen“ gab Frau Dr. Lindner den ersten Impuls für die Runde. Einleitend diskutierte sie die Stärken und Schwächen von geschlossenen Testaufgaben (z.B. Multiple-Choice) und verwies auf Möglichkeiten zur Minimierung der Schwächen.

Vorteil standardisierter Aufgabenformate ist die hohe Eindeutigkeit und Objektivität bei der Bewertung der Antworten. Eine große Schwäche besteht hingegen darin, dass sich mit dem Format kreative und schöpferische Leistungen nicht abprüfen lassen. Auch das Analysieren von Inhalten und deren selbstständige Produktion können mit MC-Aufgaben schwerer geprüft werden. Als Ansatz zum Umgang mit diesem Problem schlägt Frau Dr. Lindner vor, anspruchsvolle Aufgaben mit Fallvignetten, praxisnahen Aufgabenstämmen und unbekanntem Material (z.B. nicht aus wohlbekannten Lehrbuchtexten) zu entwickeln.

Nachfolgend wandte sich Frau Dr. Lindner verschiedenen MC-Fragetypen zu und diskutierte deren didaktische Potenziale. Hierbei hob sie das Multiple-True-False-Format als bessere Variante im Vergleich zu klassischen Multiple-Choice-Aufgaben hervor. Bei dem Multiple-True-False-Format muss der Studierende nämlich jede Antwortoption einzeln bearbeiten und nicht nur die eine richtige Option finden können, wie das z.B. bei Single-Choice-Fragen der Fall ist. Werden Matching-Aufgaben eingesetzt, ist es anzuraten, überzählige nichtzutreffende Antwortoptionen darzubieten, so dass nach der Zuordnung Distraktoren übrigbleiben. Auf diese Weise kann man vermeiden, dass die Prüflinge die am Ende verbliebenden Optionen automatisch zuordnen können.

Anhand der Studie von R. F. Burton (Burton, Richard F. (2006): Sampling knowledge and understanding: How long should a test be? In: Taylor & Francis Online (Hg.): Assessment & Evaluation in Higher Education, 31:5. S. 569-582, DOI: 10.1080/02602930600679589) verdeutlichte Frau Dr. Lindner, dass in einem Test ausreichend viele Aufgaben gestellt werden müssen. Dies wird in der Praxis oft nicht erreicht. So deutet die Studie von Burton beispielsweise darauf hin, dass im Fall einfacher True-False-Aussagen (mit einer Ratewahrscheinlichkeit 50%) mindestens 100 Aufgaben gestellt werden müssen, um das Wissen von Studierenden ausreichend differenzieren zu können. Allerdings sollte der Dozierende in einer Prüfung nicht zu viele verschiedene Aufgabenformate auf einmal einsetzen. In der angespannten Prüfungssituation erhöht das „Umschalten“ zwischen verschiedenen Fragetypen den Komplexitätsgrad, da sich die Studierenden auch darauf konzentrieren müssen, das Aufgabenformat richtig zu verstehen. Dadurch bleibt tendenziell weniger Kapazität übrig, um die eigentlichen Aufgaben zu lösen. Frau Dr. Lindner empfiehlt zudem, alle Aufgabenformate durch Probeklausuren oder semesterbegleitende Übungen bekannt zu machen, bevor man sie in der abschließenden Prüfung einsetzt.

Ein besonderes Augenmerk legte die Referentin auf die Notwendigkeit, den Erfolg von Ratestrategien bei MC-Aufgaben zu reduzieren. In diesem Zusammenhang hat sie unter anderem auf die essenzielle Bedeutung von qualitativ hochwertigen Distraktoren (falschen Antworten) und auf die Schwierigkeiten bei der Suche nach diesen hingewiesen. Distraktoren bestimmen die Schwierigkeit der Aufgaben und sollten eine Diskrimination zwischen wissenden und nicht wissenden Studierenden ermöglichen. Distraktoren sollten so nah an der richtigen Antwort liegen, dass sie von Personen ohne Wissen als plausibel eingeschätzt werden, von wissenden Studierenden aber als klar falsch erkannt werden. Sie sollten also niemals absurd sein und im besten Fall auf typischen Fehlern der Lernenden basieren. Frau Dr. Lindner weist zudem darauf hin, dass Extremwörter in falschen Antworten bestmöglich vermieden werden sollten, da diese oft als Hinweise auf Distraktoren genutzt werden können.

Zum Schluss thematisierte Frau Dr. Lindner verschiedene Ansätze zur Bewertung von MC-Aufgaben. Dabei riet sie davon ab, Malus-Punkte (Punktabzüge) einzusetzen, u.a. weil sie juristisch anfechtbar sind. Auch das Testlet-Scoring ist nach Einschätzung der Referentin in vielen Fällen weniger empfehlenswert. Der Studierende erhält hier erst bei der richtigen Auswahl bzw. Nicht-Auswahl aller Antwortoptionen Punkte für eine Aufgabe, wodurch Teilwissen nicht belohnt wird. Frau Dr. Lindner empfiehlt für standardisierte Aufgabenformate das Standard-Scoring (mit 1 Punkt für die richtige und 0 Punkten für die falsche Antwort) mit einer wohlüberlegten Anpassung von Bestehensgrenzen, um Rateeffekte zu kompensieren. Sie verweist dabei auf den Ansatz zur Adaptation von Bestehensgrenzen von Prof. J. Lukas, A. Melzer und S. Much (in: Lukas, Josef / Melzer, Andreas / Much, Sören / unter Mitarbeit von Eisentraut, Sarah (2017): Auswertung von Klausuren im Antwort-Wahl-Format. Halle (Saale): @LLZ | Zentrum für multimediales Lehren und Lernen.) und bedauert, dass die meisten Prüfungsordnungen ein solches Vorgehen noch nicht vorsehen bzw. akzeptieren. Je nach verwendeten Fragetypen und der Anzahl von verwendeten Distraktoren ergibt sich eine unterschiedliche Ratewahrscheinlichkeit für jede Aufgabe. Sinnvoll sei es daher, die Bestehensgrenze systematisch heraufzusetzen, sodass nur Studierende mit einem tatsächlichen Wissen von mindestens 50% (d.h. unter Berücksichtigung von ihrem Erfolg beim Raten) die Bestehensgrenze überschreiten.