Vergleichsarbeiten DVA
Konzeption - Verfahrensschritte
Die Vergleichsarbeiten werden als standardisierte Tests nach wissenschaftlichen Kriterien entwickelt. Als Grundlage dienen die Methoden der empirischen Sozialforschung.
Entwicklung, Einsatz, Evaluation
Für jede Vergleichsarbeit sind zehn Verfahrensschritte erforderlich, die sich über drei Schuljahre erstrecken.
Erstes Schuljahr
Curriculare Analyse und Zieldefinition- Aufgabenformulierung - Itemdefinition
- Zusammenstellung der Pilotierungsmodule
- Herstellung der Materialien für die Pilotierung
- Pilotierung der Aufgaben
Zweites Schuljahr
- Teststatistische Analysen
- Zusammenstellung der Vergleichsarbeiten DVA (Tests)
- 8. Herstellung der Materialien für die Vergleichsarbeiten DVA (Tests)
Drittes Schuljahr
Die Verfahrensschritte
1. Curriculare Analyse und Zieldefinition
Eine Vergleichsarbeit basiert auf dem jeweilig ausgewiesenen Bildungsstandard der betreffenden Schulart, des Faches und der Jahrgangsstufe.
In der “Curricularen Analyse” werden die dem jeweiligen Bildungsstandard unter “II. Kompetenzen und Inhalte” zugeordneten Kompetenzen dahingehend untersucht, inwieweit sie durch die Vergleichsarbeiten überprüfbar sind. Nicht alle Kompetenzen lassen sich in Tests dieser Art (Papier-Bleistift-Test) abbilden.
In die Analyse einbezogen werden die übergeordneten Kompetenzen, gegebenenfalls die im Bildungsplan unter “I. Leitgedanken” enthaltenen relevanten Aussagen.
Von den übergeordneten Kompetenzen bilden die Vergleichsarbeiten nur die Fach- (oder Sach-) Kompetenzen und in besonderen Fällen die Methodenkompetenzen ab.
Zur “Curricularen Analyse” gehört auch die Festlegung der zugelassenen Hilfsmittel (Lernmittel). In Frage kommen - abgesehen von dem Taschenrechner im Gymnasium in den Fächern Mathematik und Physik - die in der Lernmittelverordnung mit “x” gekennzeichnete Hilfsmittel.
In der Zieldefinition wird festgelegt, welche Bereiche des Bildungsstandards und welche der - in der Curricularen Analyse als überprüfbar benannten - Kompetenzen schwerpunktmäßig in der jeweiligen Vergleichsarbeit erfasst werden sollen. Dabei kann es sich - allein schon aus zeitlichen Gründen - immer nur um eine Auswahl (Stichprobe) aller möglichen Kompetenzen handeln.
2. Aufgabenformulierung - Itemdefinition
Die Aufgaben der Vergleichsarbeiten werden in Aufgabenentwicklungsgruppen formuliert. Jeder Aufgabenentwicklungsgruppe gehören drei Schulpraktiker/innen, eine/n Fachdidaktiker/in, ein/e Standardexperte/in an. Die Leitung der Aufgabenentwicklungsgruppen wurde Lehrerinnen und Lehrern übertragen, die an das Landesinstitut abgeordnet sind.
Die Aufgaben der DVA haben den Ansprüchen zu genügen, die an Testaufgaben gestellt werden. Sie haben die ausgewählten Kompetenzen möglichst objektiv, zuverlässig und gültig zu messen.
Eine Aufgabe besteht aus der Aufgabenstellung (→ Schülerhefte) und der Itemdefinition (→ Lehrerhinweise).
Die Aufgabenstellung hat den Bezug zur ausgewählten Kompetenz des Bildungsstandards zu gewährleisten. Im Verlauf der Aufgabenformulierung wird immer wieder konkret gefragt, ob diese Aufgabe in dieser Form mehr oder weniger geeignet ist, die gewünschte Kompetenz zu erfassen. Daher ist auch die Entscheidung über die formale Struktur der Testaufgabe ein wichtiger Schritt: Soll ein offenes, halboffenes oder geschlossenes Aufgabenformat gewählt werden? Jedes Aufgabenformat weist bestimmte Eigenarten und damit bestimmte Stärken und Schwächen aus, die beachtet werden müssen. Weitere Prinzipien sind u.a. Altersgemäßheit, Eindeutigkeit und Ökonomie der Aufgabenstellung. Eine Aufgabe kann aus mehreren Teilen und Arbeitsaufträgen bestehen. Die kleinste Fragestellung einer Aufgabe, für die eine Bewertung festgelegt ist, wird als Item bezeichnet.
Die Itemdefinition beinhaltet das Kriterium, das eine eindeutige Erfassung der ausgewählten Kompetenz ermöglichen soll. Unterschieden wird dabei zwischen “erfüllt/ gelöst/richtig” und “nicht erfüllt/nicht gelöst/falsch”; Zwischenstufen wie “teilweise richtig” gibt es nicht. Auch bei diesem Schritt wird die Passung zur Kompetenz immer wieder geprüft.
Die Itemdefinition geschlossener Aufgabenformate kann meist eindeutig erfolgen. Die Itemdefinition offener Aufgabenformate ist aufgrund der vielfältigen Lösungswege anspruchsvoll. Durch die Vielfalt der Bewertungsaspekte wird eine objektive Auswertung erschwert. Dem Auffinden von “konsensfähigen Kriterien” kommt daher eine besondere Bedeutung zu.
Zur Unterscheidung von Lern- und Testaufgaben finden Sie hier einen Artikel: “Testaufgaben sind keine Lernaufgaben” 
(PDF 53 KB)
3. Zusammenstellung der Pilotierungsmodule
Pro Bildungsstandard werden wesentlich mehr Aufgaben entwickelt als später benötigt werden. Die Aufgaben werden für die Erprobung zu verschiedenen Testheften (Modulen) zusammengestellt. Die Module enthalten gemeinsame Aufgaben (Brückenitems). Durch diese lassen sich die Aufgaben der verschiedenen Testhefte nach der Pilotierung zusammenführen.
4. Herstellung der Materialien für die Pilotierung
Für die Pilotierung werden standardspezifische Materialien für die Schulleitungen, die Lehrkräfte sowie für die Schülerinnen und Schüler entwickelt.
5. Pilotierung der Aufgaben
Die Aufgaben werden vor ihrem flächendeckenden Einsatz im Rahmen einer Pilotierung (Voruntersuchung) erprobt. Die Pilotierung wird jeweils etwa ein Jahr vor Einsatz der Vergleichsarbeiten am Ende der vorhergehenden Klasse durchgeführt.
Die Pilotierung hat folgende Zielsetzungen:
- Auswahl qualitativ hochwertiger Aufgaben auf der Basis teststatistischer Analysen
- Gewinnung von Daten zur Berechnung von landesweiten Vergleichswerten
Der Auftrag der Stichprobenschulen umfasst zwei Verfahrensschritte:
- Voruntersuchung der neuen Aufgaben der Vergleichsarbeiten des übernächsten Schuljahres
- Rückmeldung der Ergebnisse des Pflichteinsatzes der Vergleichsarbeiten
6. Teststatistische Analysen
Die Pilotierungsdaten werden sowohl nach Gesichtspunkten der klassischen Testtheorie als auch nach Gesichtspunkten von probabilistischen Theorien - wie sie in den internationalen Schulleistungsstudien angewandt werden - analysiert.
7. Zusammenstellung der Vergleichsarbeiten DVA (Tests)
Vor Zusammenstellung der Tests werden die Rückmeldungen der Lehrkräfte erörtert, die an der Pilotierung der Aufgaben beteiligt waren. Für die anschließende Auswahl der Aufgaben werden sowohl fachdidaktische als auch teststatistische Gesichtspunkte berücksichtigt. Um zwischen einzelnen Klassen – je nach Lernstand der Schülerinnen und Schüler – differenzieren zu können, werden leichte, mittlere und schwierige Items so ausgewählt, dass für den Test insgesamt und möglichst auch für jeden Schwerpunktbereich eine mittlere Lösungshäufigkeit von ca. 50 Prozent erreicht wird. Anschaulich bedeutet dies, dass eine Klasse mit mittlerem Leistungsniveau im Durchschnitt die Hälfte der Aufgaben löst.
8. Herstellung der Materialien für die Vergleichsarbeiten DVA (Tests)
Für den Endtest werden folgende Materialien entwickelt:
- Allgemeine Hinweise für die Schulleitung
- Schülerhefte
- Testspezifische Hinweise für die Lehrkräfte
- Testspezifische Auswertungsmappe - Klasse
- Schulartspezifische Auswertungsmappe - Schule
Die testspezifisch programmierten Auswertungsmappen – Klasse werten die von den Lehrkräften eingegebenen Daten automatisch aus und stellen die Klassenergebnisse den landesweiten Vergleichswerten gegenüber.
Hier können Sie eine Testmappe 
(MS Excel 648 KB) laden.
9. Einsatz der Vergleichsarbeiten DVA
Die Vergleichsarbeiten DVA werden zu Beginn eines Schuljahres eingesetzt, wobei die Einsatztermine landeseinheitlich vorgegeben sind. Die Kommunikation mit den Schulen erfolgt über das Intranet der Schulverwaltung. Informationen für Eltern und Schulen u.a. zu Terminen, zum Einsatz, zur Durchführung werden im Internet laufend aktualisiert.
10. Auswertung der Erfahrungen
Die Schulen können dem LS Erfahrungen, Einschätzungen und Anregungen mitteilen. Hierzu steht ein Online-Fragebogen - jeweils ab dem ersten Einsatztag der Vergleichsarbeiten bis Ende Dezember – zur Verfügung. Alle Eingänge werden ausgewertet und aufgearbeitet. Die Anmerkungen zu einzelnen Vergleichsarbeiten werden außerdem den Arbeitsgruppen, die für die Aufgabenentwicklung in den jeweiligen Fächern Verantwortung tragen, zur Verfügung gestellt und eingehend besprochen.
Darüber hinaus melden die Stichprobenschulen anonymisierte Ergebnisse der Vergleichsarbeiten zurück. Diese Daten werden analysiert und mit den aus der Pilotierung gewonnenen Daten verglichen.
Die Auswertungen der Erfahrungen werden jährlich im „Bericht zur Evaluation der Vergleichsarbeiten“ veröffentlicht.
Hier können Sie die bisherigen 
Berichte laden.
