Zurück

Mit Einstiegsassessments zu personalisierten Lernerfahrungen auf Online-Plattformen

ForschungsmethodenKompetenzmodellPreviewQualitative Daten

Autor: René Barth | Wissenschaftlicher Mitarbeiter | Institut für Angewandte Informatik (InfAI) e.V. an der Universität Leipzig
Beitrag erschienen am: 19.06.2024

Im Projekt Toolbox Datenkompetenz (TBDK) möchten wir sicherstellen, dass die Besucher:innen unserer Plattform ihre individuellen Lernziele erreichen und ihre Fortbildungsaktivitäten auf diese abstimmen können. Dabei gilt es bereits beim Aufbau und Wachstum einer Lernplattform zu berücksichtigen, dass mit steigender Komplexität und Angebotsvielfalt auch die Gefahr zunimmt, dass Nutzer:innen sich überfordert fühlen, keinen Einstiegspunkt in die Kurslandschaft finden und die Plattform eventuell frustriert verlassen.

Um diesen Herausforderungen und Erfordernissen zu begegnen, erarbeiten wir derzeit ein zweiteiliges Einstiegsassessment, mit dem einerseits der Nutzungsanlass erfragt und andererseits das Kompetenzniveau der Nutzer:innen mittels eines Self-Assessments erhoben wird. Auf Basis der Befragungsergebnisse wird es anschließend möglich sein, den Ausgangspunkt (d.h. den Lernstand der oder des Nutzenden) mit dem Zielpunkt (den zum Fortbildungsanliegen passenden Kompetenzen) abzugleichen und personalisierte Lernpfade vorzuschlagen.

Mögliche Nutzungsanlässe bzw. Fortbildungsanliegen konnten aus einer Analyse der adressierten Zielgruppen sowie den Resultaten einer im Rahmen des Projekts TBDK durchgeführten Bedarfserhebung abgeleitet werden. Die Ermittlung des Datenkompetenzniveaus ist verbunden mit der Konkretisierung der Bestandteile und des Inhalts von Datenkompetenz. Hierfür ist am Institut für Angewandte Informatik (InfAI) e. V. derzeit ebenfalls ein Data Literacy Framework in Arbeit (Zinke-Wehlmann und Wehlmann 2024), welches auf Expert:inneninterviews sowie auf den Ergebnissen einer umfangreichen Literature Review1 beruht. Neu an diesem Framework ist die Orientierung an den Bildungsstandards der Fächer Mathematik und Informatik sowie die Unterscheidung zwischen prozess- und inhaltsbezogenen Kompetenzen.

Dieses Framework wird anschließend für eine Befragung operationalisiert, d.h. in messbare Indikatoren überführt. Mit dem Ziel, ein Assessment-Instrument zu entwerfen, welches einerseits genügend Aussagekraft für das eingangs beschriebene Empfehlungssystem der Lernplattform besitzt, andererseits aber nicht zu Frust durch einen zu großen Umfang führt, werden in einem mehrstufigen Konzeptionsprozess folgende Strategien erprobt:

1) Alltagsnahe Kompetenzbeschreibungen: Zunächst werden die verschiedenen Themenfelder, die der Kompetenzrahmen umfasst (beispielsweise Datenethik oder Datenmanagement), mit alltagsnahen Kompetenzbeschreibungen abgebildet; zur Verortung der eigenen Kenntnisse und Fertigkeiten wird den Nutzer:innen jeweils eine Skala mit den Polen völliger Ablehnung und völliger Zustimmung angeboten, wobei jedem Punkt auf der Skala ein Zahlenwert zugewiesen wird. Dieser Wert repräsentiert das Ausmaß des jeweiligen Kompetenzbereichs bzw. das diesbezüglich vorhandene Kompetenzniveau.

2) Definition von Rollen: Im nächsten Schritt wird die Komplexität durch die Aufgliederung der Themenfelder in ihre Bestandteile – sofern zielführend – nochmals erhöht. Hinzukommt die Definition von Nutzer:innenrollen und die u. a. darauf aufbauende Entwicklung einer Filterführung, die dazu dient, den Umfang des Assessments für die Nutzer:innen bei größtmöglicher Granularität gering zu halten.

3) Konkretisierung der Kompetenzniveaus: Schließlich sollen die wenig präzisen Skalenwerte durch niveauanzeigende Konkretisierungen der bisherigen allgemeinen Kompetenzbeschreibung ersetzt werden, die der Logik der Bloom’schen Lernzieltaxonomie in der revidierten Fassung von Anderson und Krathwohl (2001) folgen. Das erlaubt den Nutzer:innen eine noch präzisere Selbsteinschätzung. Parallel dazu werden die Möglichkeit und der Nutzen einer späteren Kombination des Self-Assessments mit einem Quiz als Element der Fremdeinschätzung geprüft.

In den Entwicklungsprozess eingebunden sind auch Mitglieder des Expert:innennetzwerks des Projekts TBDK. So fanden im Mai 2024 mehrere Einzelgespräche sowie ein Fachgruppentreffen zum Thema statt. Dabei wurde nach einer Einführung in den aktuellen Stand des Kompetenzrahmens mit den Teilnehmer:innen in einem World-Café-Format gruppenweise an den einzelnen Kategorien und Themen und ihrer möglichen Operationalisierung gearbeitet. Die Vielzahl an wichtigen und anregenden Hinweisen wird in die Konzeption des Einstiegsassessments sowie die Überarbeitung des Frameworks selbst einfließen.

Aktuell steht das InfAI kurz vor der Fertigstellung der Kompetenzbeschreibungen (d. h. am Ende der ersten Stufe des oben dargestellten Konzeptionsprozesses), welche in einer anschließenden Pretest-Phase vor allem auf ihre Verständlichkeit geprüft werden. Wenn Sie das Projekt TBDK mit weiterem Input zu den Themen Assessment und Operationalisierung von Kompetenzen unterstützen oder sich hierüber mit uns austauschen möchten, freuen wir uns über eine Nachricht an René Barth unter barth@infai.org.


1: Die Veröffentlichung der umfassenden Ergebnisse der Literature Review erfolgt voraussichtlich in Quartal 3 dieses Jahres.

Quellen:

Anderson, Lorin W. und David R. Krathwohl, 2001: A taxonomy for learning, teaching, and assessing: A revision of Bloom's taxonomy of educational objectives: complete edition. New York: Longman.

Zinke-Wehlmann, Christian und Franziska Wehlmann, 2024: Towards Data Education Standards. In Arbeit.

Zweistufige Befragung


Vorgehen: Stufenweise Annäherung (idealtypisch)