Rückblick zum Workshop-Tag: "Organisatorische und rechtliche Verankerung von E-Prüfungen" am 6. April 2017
Was muss die Prüfungsordnung im Hinblick auf E-Prüfungen regeln?
Wie lange müssen welche Daten aufbewahrt werden? Kann man Probeklausuren mit anrechenbaren Prüfungsleistungen verbinden?
Was muss man rechtlich beim Antwort-Wahl-Verfahren beachten?
Diese und weitere Fragen wurden in den Vorträgen und Workshops behandelt und führten zu lebhaften Diskussionen.
Am 6. April 2017 veranstaltete im Alfred-Hessel-Saal des Historischen Gebäudes der Staats- und Universitätsbibliothek Göttingen der E-Learning-Service der Georg-August-Universität Göttingen unterstützt von der Zentralen Evaluations- und Akkreditierungsagentur Hannover (ZEvA) den Workshop-Tag "Organisatorische und rechtliche Verankerung von E-Prüfungen". Die Veranstaltung fand im Rahmen des Verbundprojektes eCult+ statt. Teilgenommen haben ca. 50 Angehörige von Service-Einrichtungen sowie interessierte Lehrende und Studierende von Hochschulen verschiedenster Größe und Ausrichtung aus dem ganzen Bundesgebiet.
Als Experten konnten wir Prof. Dr. Michael Beurskens, Inhaber des Lehrstuhls für Bürgerliches Recht an der Rheinischen Friedrich-Wilhelms-Universität Bonn, gewinnen.
Zu den Forschungsschwerpunkten von Herrn Prof. Beurskens zählen neben Rechtsfragen von Social Media, der IT-Sicherheit und des Internets auch der Datenschutz sowie die Open-Access-Lizenzierung. In seiner Lehre legt er großen Wert auf den Einsatz von E-Learning und E-Assessments und setzt neben E Klausuren u.a. auch Fallsimulationen, Vorlesungsaufzeichnungen, Lernmodule, Onlinekurse und Online-Abstimmungen in seinen Vorlesungen ein. Für den Tag des Workshops bereitete Herr Beurskens drei Vorträge vor und stand darüber hinaus mit seiner Expertise für alle sich anschließenden Diskussionen sowie die Teil-Workshops zur Verfügung.
Nach der Begrüßung durch Dr. Dirk Lanwert und Dr. Holger Markus vom E Learning-Service der Universität Göttingen wurden die Teilnehmenden gebeten, mittels eines Audience Response Systems (hier: mVote) ihren eigenen Kenntnisstand zu E-Assessments, die Höhe der rechtlichen Hürden für die Durchführung von E Prüfungen sowie deren Realisierbarkeit auch an kleinen Hochschulen mit sehr begrenzten Ressourcen einzuschätzen. Dabei bekannten sich die Teilnehmenden zu einem bereits recht guten Informationsstand und bewerteten die Herausforderungen für die Einführung von E-Prüfungen auch an kleinen Standorten als durchaus beherrschbar.
Für den inhaltlichen Einstieg in die Thematik stellte Prof. Beurskens mit seinem Vortrag "Verfassungsrechtliche Vorgaben an formative, summative Prüfungen, Verankerung in der Prüfungsordnung, Prüfungsanfechtung" die normativen Grundlagen dar. Herr Beurskens führte ausgehend von der allgemeinen Bedeutung von Prüfungen einen Vergleich von bisherigen schriftlichen Prüfungen und elektronisch unterstützten Klausuren durch und erläuterte anhand konkreter Beispiele geeignete Formulierungen für die Verankerung von E-Prüfungen in Prüfungsordnungen. Dabei ging er auch auf Aspekte wie Aufbewahrungsfristen, die Sicherstellung von Authentizität und Integrität der anfallenden Daten sowie Dokumentationspflichten ein und beleuchtete das Spannungsfeld von Lehrfreiheit und Datenschutz- sowie Urheberrechten. Herr Beurskens empfahl in diesem Zusammenhang, sich in den Prüfungsordnungen auf die relevanten und wesentlichen Entscheidungen zu beschränken, um die Freiheit der Lehrenden bei der Gestaltung und Durchführung ihrer Prüfungen nicht zu sehr einzuschränken.
Wenn Sie sich wünschen, können Sie sich rückblickend von den Beiträgen Herrn Beurskens erneut inspirieren lassen und die Folien zum Vortrag anschauen.
Im Anschluss fand der erste Workshop mit Beiträgen der Standorte zum Thema "Probeklausuren, "E Übungen", Anrechnung auf Prüfungsergebnisse - Szenarien & rechtliche Möglichkeiten" statt. Dr. Damla Yildirim vom E Learning-Service der Universität Göttingen gab eine kurze Einführung und erläuterte die Vorgehensweise. Das vorgestellte Spektrum häufig eingesetzter Szenarien zur Vorbereitung der zu Prüfenden auf eine E-Klausur reichte von reinen Online-Tests, die zumindest die relevanten Fragetypen beinhalten, über technische und organisatorische Nutzungseinweisungen, die am Anfang des Studiums oder Semesters angeboten werden und keinen Bezug zu konkreten Prüfungsinhalten haben, bis zu als formative Tests eingesetzten Probeklausuren unter realistischen Bedingungen, die ggf. tutoriell betreut und für die Bonuspunkte für die eigentliche Klausur vergeben werden.
Die Teilnehmenden wurden eingeladen, in Gruppen an den Stellwänden Ihre Einschätzungen und Erfahrungen zu diskutieren und in Stichpunkten niederzulegen. Am Ende dieser Phase fassten die Betreuer*innen der jeweiligen Stellwände kurz die Ergebnisse zusammen, woran sich eine Diskussionsrunde mit allen Teilnehmenden anschloss, bei der auch Prof. Beurskens Rede und Antwort stand.
Bei reinen Online-Tests als Probeklausuren (Szenario 1) waren sich die Teilnehmenden einig, dass die Studierenden sich mit dem System und ggf. auch mit Inhalten gut vertraut machen können, aber nicht mit den Rahmenbedingungen und Prozessen insgesamt. Ein Einsatz der Probeklausuren als formative E-Assessments (Szenario 4) wurde für die Studierenden als motivierend und für diese wie für die Lehrenden als wertvolle Rückmeldung eingeschätzt, bedeutet aber für die Lehrenden einen erheblichen zusätzlichen Aufwand.
Kurz vor der eigentlichen Klausur stattfindende Probeklausuren (Szenario 3) wurden als ideal angesehen, um Unsicherheiten bei den Studierenden (und ggf. Lehrenden) zu beseitigen. Die Herausforderungen hierbei bestehen im (personellen) Aufwand und der Verfügbarkeit der Räumlichkeiten bei steigender Zahl von E Prüfungen. Die Nutzungseinweisung ohne Bezug zu einer Lehrveranstaltung (Szenario 2) wurde prinzipiell als hinreichend, allerdings durch die ggf. lange Zeitspanne zwischen Einweisung und Prüfung sowie den fehlenden inhaltlichen Bezug als nicht so wirkungsvoll beurteilt.
Herr Beurskens verwies in diesem Zusammenhang auf den weiten Spielraum, den Lehrende und Service-Einrichtungen bei der Vorbereitung der Studierenden haben, so dass dieses rechtliche Erfordernis auch bei begrenzten Ressourcen kein Hemmnis für die Einführung von E-Prüfungen ist.
Die sich aus den ersten beiden Programmpunkten ergebenden Diskussionen wurden am Mittagsbuffet fortgesetzt.
Nach der Pause präsentierte Prof. Beurskens in seinem zweiten Vortrag zum Thema "Planung von (konkreten) E-Prüfungen: Ankündigung, Zulassung, Einlasskontrolle, Aufsicht, Mehrprüferanforderung, Remonstrationsverfahren" Möglichkeiten des Einsatzes von formativen Tests zum Sammeln von Bonuspunkten für die eigentliche Klausur unter Abwägung der Chancengleichheit für alle Studierenden und der Manipulationssicherheit solcher Tests.
Während bei der konkreten Vorbereitung einer E-Klausur durch eine hinreichende Vorbereitung der zu Prüfenden die Forderung nach Chancengleichheit leicht zu erfüllen ist, lenkte Herr Beurskens bei der Diskussion der "Schriftform" einer elektronisch unterstützten Prüfung die Aufmerksamkeit auf das doppelte Identifikationsproblem bei der Bearbeitung eines Tests, nämlich die vorsätzliche oder versehentliche Anmeldung mit falschen Zugangsdaten sowie die nicht korrekte Speicherung von Ergebnissen wegen technischer Probleme. In diesem Zusammenhang erläuterte Herr Beurskens die Eignung verschiedener Verfahren zur digitalen Authentifikation und Archivierung wie der qualifizierten digitalen Signatur oder der Anfertigung von Screenshots während des Tests. Darüber hinaus stellte Prof. Beurskens die Frage, ob es auch bei der automatischen Korrektur geschlossener Fragen einen Bewertungsspielraum in Abhängigkeit vom tatsächlichen Abschneiden der Teilnehmenden gibt, da die Schwierigkeit der Klausurfragen im Vorfeld nicht zuverlässig bestimmt werden kann, und betonte in diesem Zusammenhang die Notwendigkeit der Regelung einer relativen Bestehensgrenze in der Prüfungsordnung. Im folgenden Kurzworkshop "Fragengestaltung beim Antwort-Wahl-Verfahren" konzentrierte sich Holger Markus auf vier verschiedene Möglichkeiten der Punktevergabe bei Fragen nach dem Mehrfach-Antwort-Auswahlverfahren, also Fragen vom Typ "Pick N" oder Multiple-Choice-Fragen im engeren Sinne. Das Spektrum reichte dabei von der maximal strengen Forderung nach vollständig richtig beantworteten Fragen über Maluspunkte bei ausgewählten falschen Optionen sowie dem Verzicht auf diese bei vorheriger Einschränkung der Anzahl der anzukreuzenden Antworten bis hin zu der denkbar kulanten Vorgehensweise, dass nur die richtig ausgewählten Optionen berücksichtigt werden, was die Ratewahrscheinlichkeit entsprechend erhöht. Die Teilnehmenden berichteten davon, dass alle Herangehensweisen an ihren Standorten vorkommen.
Herr Beurskens bestätigte ihre rechtliche Unbedenklichkeit vor dem Hintergrund der prüfungsdidaktischen Sinnhaftigkeit. Bei den am ehesten als kontrovers eingeschätzten Maluspunkten wies er darauf hin, dass diese unproblematisch sind, wenn sie bei einer falschen Antwort vergeben werden, die im Widerspruch zu einer richtigen Option steht, weil dann durchaus der Nachweis des Ratens geführt werden kann. Nach einer Kaffeepause fuhr Herr Prof. Beurskens mit dem dritten Vortrag "Durchführung bei einer großen Zahl von Prüflingen - Mehrere Kohorten / gleichwertige Fragenauswahl, Dokumentation, Härtefallausgleich, Reaktion bei Systemstörungen" fort. Er wies darauf hin, dass der Nachweis der Gleichwertigkeit von Fragen bei durch mehr als zwei Kohorten notwendige unterschiedliche Klausuren sehr problematisch ist, weil man deren vergleichbare Schwierigkeit im Vorfeld höchstens dann abschätzen kann, wenn es sich z.B. um Rechenaufgaben handelt, die sich lediglich bezüglich der konkreten Zahlenwerte unterscheiden. Ansonsten ist anzuraten, verschiedene Tests wie separate Klausuren eigenständig zu bewerten. Für unkritisch hielt Herr Beurskens die Gefahr von Täuschungsversuchen, die er wegen der zur Verfügung stehenden technischen Möglichkeiten wie Filterschutzfolien oder die Permutation von Fragen und Antwortoptionen sogar als geringer einschätzte als bei papierbasierten Klausuren. Außerdem betonte er den großen Spielraum, den die Prüfungsverantwortlichen bei der Definition und Ahndung von Täuschungsversuchen haben, wobei eine lückenlose Dokumentation des Ablaufs einer Prüfung natürlich vorhanden sein muss. Abschließend wurde der Umgang mit Zeitverzögerungen bei technischen Störungen erörtert. Die folgende Diskussion wurde durch Dr. Torsten Futterer von der ZEvA moderiert.
Den Abschluss des Tages stellte der letzte Workshop "Reflexion des bisherigen Tages: Betreuung der Lehrenden als Instrument der Qualitätssicherung in Abwägung mit dem dafür notwendigen (personellen) Aufwand" mit Beiträgen der Standorte und gegenseitigem Feedback dar. Dazu bat Dirk Lanwert die Teilnehmenden, in Gruppen den Tag im Hinblick auf die Situation an ihren jeweiligen Standorten zu reflektieren, wobei der Fokus auf der Einschätzung der Realisierbarkeit bei gegebenen (personellen) Ressourcen liegen sollte. Da die Erfahrungen der Teilnehmenden heterogen waren, ergaben sich lebendige Diskussionen in den Gruppen. Klar wurde, dass nicht nur große Hochschulen erfolgreich E-Prüfungen durchführen können, sondern diese in das jeweilige prüfungsdidaktische Portfolio passen müssen. Dann ist es auch unerheblich, ob technisch auf ein spezielles E-Prüfungssystem oder das Testmodul eines Open-Source-Lernmanagementsystems gesetzt wird.
Dieser positive Eindruck wurde als Fazit dadurch bekräftigt, dass in der schließlich von Herrn Lanwert durchgeführten erneuten Abstimmung über die eingangs gestellten Fragen die Teilnehmenden ihre konstruktive Einstellung zu der Beherrschbarkeit der rechtlichen Herausforderungen von E-Prüfungen ein weiteres Mal zum Ausdruck brachten.
