Computergestütze adaptive Tests (CAT Test) – Plakos klärt Dich auf!

Computergestützter adaptiver Test? Du fragst Dich, was genau das ist? Wir klären Dich auf: 
Ein computergestützter adaptiver Test, kurz CAT Test, ist ein Test, welcher sich von der Schwierigkeit her stets dem Probanden bzw. der Probandin anpasst. Beantwortest Du bei einem CAT Test viele Fragen hintereinander richtig, erhöht sich der Schwierigkeitsgrad nachfolgender Fragen – umgekehrt verringert er sich natürlich.

CAT Test vs. klassische Tests: Wo liegt der Unterschied? 

Genau die Eigenschaft eines CAT Tests, dass sich das Fragen-Niveau stets den Prüflingen anpasst, macht den großen Unterschied zu klassischen Prüfungen, wie sie noch heute beispielsweise in Schulen gängig sind, aus. Bei klassischen Prüfungen werden Fragen, die schlussendlich den Test bilden, stets zuvor festgelegt. Jeder Proband bzw. jede Probandin absolviert somit den gleichen Test – egal welcher Bildungsgrad vorliegt. 
Dies mag zwar für Prüfungssituationen eine einfache Methode sein, mehrere Prüflinge zu vergleichen, jedoch hängt die Qualität des Tests bzw. das Niveau der Fragen stark vom Ersteller der Prüfung ab. Dies kann – gerade in Übungssituationen – Frustration mit sich bringen. Du kennst das doch auch? Zu leichte Aufgaben geben Dir das Gefühl ausreichend gelernt zu haben und zu schwere Aufgaben frustrieren Dich, wenn Du diese nicht schaffst.
Und genau an dieser Stelle lohnt sich ein Blick auf die computergestützten adaptiven Tests von Plakos zu werfen: statt die Prüfungserstellung alleine von einem Menschen abhängig zu machen, beziehen wir bei unseren CAT Tests die Daten unseres Probanden bzw. unserer Probandin mit ein – denn schließlich zeigen sie uns am besten, was sie wirklich weiterbringt und was nicht. Somit ist der CAT Test von Plakos mit dem CAT Test der Bundeswehr vergleichbar.

Funktionsweise CAT Test: Wie funktioniert ein computergestützter adaptiver Test?

Damit ein computergestützter adaptiver Test durchgeführt werden kann, braucht es vor allem folgende drei Dinge:

• Fragen, welche im Test gestellt werden dürfen
• Reale Daten von Testern zu diesen Fragen
• Methoden aus der Statistik

Wie erhält man die Fragen für den CAT Test?

Der gängigste Weg die Fragen und die Daten über diese zu erhalten, ist es zunächst einen klassischen Test durchzuführen. Um am Ende auch einen qualitativen adaptiven Test erstellen zu können, sollte dieser klassische Test jedoch aus mindestens 100 Fragen bestehen und sich ausschließlich auf ein Themenfeld beschränken. Warum? Am Ende ist es wichtig sagen zu können, wie schwer eine Frage in Bezug zu einer anderen ist. Diese Aussage lässt sich präziser treffen, wenn die Fragen zu ein und demselben Themengebiet gehören, beispielsweise beides Fragen zum Dreisatz sind. 

Wie erhält man die Daten von Testern zu diesen Fragen?

Die Fragen sind da, woher kriegen wir nun noch die Nutzerdaten? Was wir brauchen sind mehrere Freiwillige, die den Test absolvieren. Um ein möglichst genaues Abbild der Realität zu erhalten, sollten es im Idealfall sowohl sehr kluge, als auch eher weniger kluge Probanden bzw. Probandinnen sein. Bei dem Erstellen eines CAT heißt es: desto mehr Freiwillige den Test absolvieren, umso genauer wird das Bild.
Die Daten, welche zum Test erhoben werden, sollten folgende Aussage ermöglichen: 
Proband A hat Frage 1 richtig/falsch beantwortet und ein Testergebnis von X erzielt.
Auf Grundlage dieser Daten kann man nun mithilfe von klassischer Statistik bestimmen, wie schwer oder leicht eine Frage ist. Du brauchst ein Beispiel? Gerne:
Auf den ersten Blick lässt sich vermuten, dass Frage 1 die einfachste Frage von allen zu sein scheint, da jeder Proband bzw. jede Probandin sie richtig beantwortet hat. Frage 2 hingegen scheint die Schwierigste zu sein. 

Welche Auswertungsmethode findet im Anschluss Anwendung? 

Haben wir nun genug Fragen mit der dazugehörigen Schwierigkeit bestimmt, benötigen wir noch eine greifbare Methode um schlussendlich zu messen, wie gut oder schlecht der Proband bzw. die Probandin ist. Hier hilft wieder die Statistik und die folgende Frage:
Auf Grundlage seiner bzw. ihrer bisherigen Antworten, mit welcher Sicherheit können wir mutmaßen, dass der Proband bzw. die Probandin gut oder schlecht ist?
Das mag im ersten Augenblick etwas vage wirken, jedoch kann das Zusammenspiel aus Statistik und Computertechnologie diese Frage schon nach wenig gestellten Aufgaben je Proband bzw. Probandin präzise beantworten.
Dieser Effekt lässt sich beschleunigen, wenn man Fragen wählt, die in etwa so schwer sind, wie der Proband bzw. die Probandin gut ist. Zudem benötigt man für ein aussagekräftiges Ergebnis sowohl mindestens eine richtige, als auch eine falsche Antwort. Würden z.B. alle Fragen richtig beantwortet, kann man zwar sagen, dass der Prüfling mindestens so gut ist, wie andere, die alles richtig haben, jedoch nicht wie gut genau. Daher lohnt es sich sowohl sehr leichte, als auch sehr schwierige Fragen in der Erstellung eines Tests zu berücksichtigen.

Gibt es weitere Kriterien als nur die Frage nach der Schwierigkeit?

Neben der Schwierigkeit von Testfragen werden noch andere Kriterien berücksichtigt. So lässt sich aus den gesammelten Daten eine Trennschärfe bestimmen. Trennschärfe? Mit der Trennschärfe lässt sich eine Aussage darüber treffen, wie gut sich eine bestimmte Frage eignet, gute von weniger guten Probanden bzw. Probandinnen zu unterscheiden.
Des Weiteren wird auch das Raten mit berücksichtigt. So besteht immer die Möglichkeit, dass der Testteilnehmer bzw. die Testteilnehmerin bei der Wahl seiner bzw. ihrer Antwort rät. 
Diese Zusammenhänge rechtfertigen auch den Namen der Theorie, die hinter einem CAT Test steckt und im Englischen als “item response theory” bezeichnet wird: Diese Theorie besagt, dass ein Zusammenhang zwischen dem Antwortverhalten von Probanden und Probandinnen sowie ihrer Fähigkeit besteht. Dieser Zusammenhang ist es, welcher uns ermöglicht, die Fähigkeiten der Prüflinge über das jeweilige Antwortverhalten zu messen.

Wie kannst Du Dir solch einen CAT Test vorstellen?

In der schlussendlichen Durchführung unterscheidet sich ein CAT Test nur minimal von klassischen Test. Den Prüflingen werden nacheinander Fragen gestellt, am Ende erhalten sie eine Auswertung. Was den großen Unterschied beider Testvarianten jedoch ausmacht, ist die Art, wie die Fragen ausgewählt werden, denn diese ist stark von den vorherigen Antworten abhängig.
Da zu Beginn des Tests noch keine Fragen beantwortet wurden, wird der Proband bzw. die Probandin aufgefordert, sich selbst einzuschätzen. So kann der Algorithmus schneller auf den jeweiligen Prüfling maßgeschneiderte Fragen auswählen.
Doch keine Sorge! Sofern die Selbsteinschätzung von der Realität abweicht – wer kennt’s nicht? – führt dies lediglich dazu, dass die Anfangsfragen noch nicht den eigenen Fähigkeiten entsprechen. Mit zunehmender Anzahl an beantworteten Fragen ändert sich dies natürlich.

An einem Beispiel erklärt sich der CAT Test direkt besser:

Der folgend dargestellte Fall zeigt als Anfangsfrage eine sehr einfache Frage. Dies erkennst Du an der “Schwierigkeitsleiste” über der Fragestellung.
Im Grunde kann ab diesem Zeitpunkt der Test als adaptiv, also anpassungsfähig, bezeichnet werden. Wird die Frage richtig beantwortet, folgt eine schwierigere Frage. Wie schwierig die nächste Frage sein wird, kann sich stark unterscheiden. Sie wird sich aber um einen Wert, der der gemessenen Fähigkeit des Prüflings entspricht, stabilisieren. 
Wurden alle Fragen beantwortet, ist der Test zu Ende. In der Auswertung wird dann aufgeführt, wie schwierig die präsentierten Fragen waren und ob sie richtig oder falsch beantwortet wurden. Neben einer prozentualen Auswertung erwartet den Testern bzw. Testerinnen noch eine Bewertung in Sternen. Diese Sternebewertung steht am Ende auch für das schlussendliche Ergebnis des Probanden bzw. der Probandin. Denn anders als bei klassischen Tests, zählt beim CAT Test nicht nur die Anzahl der richtig beantworteten Fragen, sondern auch die dazugehörige Schwierigkeit.

Jetzt loslegen: Probiere einen Plakos CAT Tests einfach selbst aus

Bei all der Theorie darf eines nicht fehlen: die Praxis! Du hast nun bestimmt große Lust direkt selbst loszulegen und an einem computergestützten adaptiven Test teilzunehmen? Kein Problem!

Wir empfehlen und wünschen Dir viel Freude und Erfolg bei diesem CAT Test: