Glossar: Testtheorie und Fragebogenkonstruktion (3. Aufl.)

Ein spezielles Vorgehen bei der Messung individueller Ausprägungen von Personenmerkmalen, bei dem sich die Auswahl der zur Bearbeitung vorgelegten Items an der Leistungsfähigkeit der untersuchten Testpersonen orientiert, die während der Testung berechnet wird.

Unter dem AIC (auch Akaike-Informationskriterium) versteht man ein Maß für die Anpassungsgüte des geschätzten Modells an die vorliegenden empirischen Daten (Stichprobe) unter Berücksichtigung der Komplexität des Modells. Daraus hervorgegangen sind das Bayesian Information Criterion (BIC), das adjustierte Bayesian Information Criterion (aBIC) und Consistent Akaike Information Criterion (CAIC).

Austauschbare Methoden in MTMM-Modellen sind solche Methoden, die einer Zufallsauswahl aus einer Menge gleichberechtigter (gleichadäquater) Methoden entsprechen. Beispielsweise wären verschiedene Messgelegenheiten austauschbar, wenn sich keine der Messgelegenheiten von den anderen Messgelegenheiten strukturell unterscheidet.

Ein Test gilt als auswertungsobjektiv, wenn das Testergebnis unabhängig davon ist, wer den Test auswertet.

Axiome sind theoretische Grundannahmen, die als geltend angesehen werden und auf denen das Theoriegebäude aufgebaut wird.

Bei der dichotomen LCA: Wahrscheinlichkeit eines Antwortmusters av unter der Bedingung, dass die Person v zur Klasse g gehört.

Bei der polytomen LCA: Wahrscheinlichkeit, mit der ein Item i mit der Antwortkategorie k beantwortet wird, wenn die entsprechende Person v zur Klasse g gehört.

Aufgabentyp, bei dem der individuelle Zustimmungs- oder Ablehnungsgrad zu einer vorgelegten Aussage (Statement) erfasst wird.

Faktorenanalytisches Modell, bei dem alle Items auf einem Generalfaktor und Teile der Items jeweils auf einem spezifischen Faktor laden.

Consistent Akaike Information Criterion (CAIC)

Reliabilitätsmaß, dessen Berechnung essentielle τ-Äquivalenz von eindimensionalen Items voraussetzt.

Das Debriefing beschreibt die Qualitätssicherungsmaßnahme, nach der Testung den Testleiter nach Besonderheiten während der Testung zu befragen.

Neuere Bezeichnung für das Testkuratorium (TK)

Disjunktheit von Antwortalternativen liegt vor, wenn die Antwortalternativen logisch nicht gleichzeitig gültig sein können.

Unter dem Diskriminationsindex versteht man einen Kennwert zur Identifizierung „nicht trennscharfer“ Items bei der LCA.

Im 3PL-Modell wird neben dem Schwierigkeits- und dem Diskriminationsparameter des 2PL-Modells noch die Ratewahrscheinlichkeit als Parameter ρi in das Modell aufgenommen (Birnbaum-Modell).

Stichprobe, die zur Normierung eines Tests eingesetzt wird. Die Eichstichprobe besteht idealerweise aus einer hinreichend großen, repräsentativen Zufallsstichprobe der Zielpopulation, für die der Test beim späteren Einsatz Gültigkeit haben soll.

Der Eigenwert eines Faktors gibt an, wie viel Varianz aller Itemvariablen durch diesen Faktor erklärt wird.

Die Zeilen- und Spaltensummenscores einer (0/1)-Datenmatrix werden als suffizient bezeichnet, wenn die Wahrscheinlichkeit der Daten nicht davon abhängt, welche Personen welche Items gelöst haben, sondern lediglich davon, wie viele Personen ein Item gelöst haben (Schwierigkeit des Items) bzw. wie viele Items eine Person lösen konnte (Fähigkeit der Person). Die Zeilen- und Spaltensummenscores reichen dann jeweils aus, um die Personen- und Itemparameter zu schätzen.

In der KTT Bezeichnung für eindimensionale Items, wobei die Messmodelle der Items unterschiedliche Leichtigkeitsparameter α˛ aufweisen dürfen; die Diskriminationsparameter λ und die Fehlervarianzen müssen hingegen identisch sein.

Die EFA ist ein statistisches Verfahren, das auf Annahmen beruht. Es kommt typischerweise dann zur Anwendung, wenn keine Hypothesen über die Anzahl der zugrunde liegenden Faktoren und über die Zuordnung der beobachteten Variablen zu den Faktoren vorliegen. Es ist ein sog. struktursuchendes und dimensionalitätsreduzierendes Verfahren.

Ein Test erfüllt das Gütekriterium der Fairness, wenn die resultierenden Testwerte zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen führen.

Die Gewichtungszahl λjk einer beobachteten Variablen j auf dem latenten Faktor k heißt Faktorladung und beschreibt die Stärke des Zusammenhangs zwischen Faktor und Variable (meist Item). Sie kann bei orthogonal rotierten Faktoren als Korrelation interpretiert werden.

Die Varianz der Fehlerwerte Var (ε) der Personen stellt in der KTT den unerklärten Anteil der Testwertevarianz Var (Υ) dar.

Speedtests

s. Testgütekriterien, s. aber auch Informationskriterien

Methode der EFA, mit der versucht wird, das Beziehungsmuster zwischen den manifesten Variablen mit möglichst wenigen dahinterliegenden latenten Faktoren zu erklären.

Verschiedene CFA-Modelle werden als hierarchisch geschachtelt bezeichnet, wenn sie dieselbe Modellstruktur aufweisen und durch Parameterrestriktionen bzw. -freisetzungen ineinander übergeführt werden können, s. auch Nested Models.

Itemcharakteristische Funktion

Inkrementelle Validität bezeichnet das Ausmaß, in dem die Vorhersage eines externen Kriteriums verbessert werden kann, wenn zusätzliche Testaufgaben oder (Sub-)Tests (und allgemeiner: Informationen) zu den bereits eingesetzten Verfahren hinzugenommen werden.

Ein Test ist dann interpretationsobjektiv, wenn bezüglich der Interpretation der Testwerte eindeutige Richtlinien (z. B. Normentabellen) vorliegen.

Die IC-Funktion beschreibt den Zusammenhang zwischen dem manifesten Antwortverhalten der Testpersonen auf die Items und dem dahinterliegenden latenten Persönlichkeitsmerkmal. Die IRT ist vor allem für dichotome Itemvariablen konzipiert und geht von einem logistischen Zusammenhang aus, die KTT hingegen von einem linearen Zusammenhang mit kontinuierlichen Itemvariablen.

Die Iteminformation Ii gibt in der IRT an, wie groß der Informationsgehalt eines Items i bezüglich der Merkmalsausprägung η einer Testperson v ist. Die Iteminformation eines Items i ist maximal, wenn die Itemschwierigkeit mit der jeweiligen Merkmalsausprägung der Testperson v auf der Joint-Scale übereinstimmt. Die Iteminformationen können zur Testinformation aufaddiert werden, mit deren Hilfe Konfidenzintervalle für die wahre Merkmalsausprägung der Testpersonen gebildet werden können.

Zusammenfassung mehrere Items zu Päckchen, z. B. zu Halbtests, s. auch Parcels

Die IRT (auch probabilistische Testtheorie) beschreibt den Zusammenhang zwischen beobachtbarem Antwortverhalten und dem dahinterstehenden Persönlichkeitsmerkmal (Personenparameter) auf Grundlage eines wahrscheinlichkeitstheoretischen Modells. Dabei wird die Wahrscheinlichkeit für das beobachtbare (gezeigte) Antwortverhalten als von der latenten Merkmalsausprägung abhängig modelliert. Siehe auch Itemcharakteristische Funktion (IC-Funktion).

Schwierigkeitsparameter βi (IRT), Leichtigkeitsparameter αi (KTT)

Die Trennschärfe eines Items gibt in der deskriptivstatistischen Itemanalyse an, wie stark die mit dem jeweiligen Item erzielte Differenzierung zwischen den Testpersonen mit der Differenzierung durch den Gesamttest übereinstimmt.

Variation der Formulierung eines Items (Statements) durch Veränderung der Wortwahl, z. B. in positiv gepolter Form oder in „invertierter“ negativ gepolter Form zu Aufdeckung von Akquieszenz oder von Methodeneffekten.

Die KTT (auch Messfehlertheorie) beschreibt den Zusammenhang zwischen dem beobachtbaren Antwortverhalten und dem dahinterstehenden wahren Testwert τv bzw. der latenten Merkmalsausprägung ηv (Personenparameter) auf Grundlage der Annahme, dass sich der Messwert yvi einer Person v in einem Testitem i immer aus zwei Komponenten zusammensetzt. Diese sind ein wahrer Wert τvi und ein Messfehlerwert εvi . Der Zusammenhang zwischen den Messwerten und den wahren Werten bzw. latenten Merkmalsausprägungen wird in der KTT als linear angenommen.

Die Kommunalität hi2 einer Variablen i gibt an, in welchem Ausmaß die Varianz der Variablen durch die extrahierten q Faktoren erklärt wird.

Die konfirmatorische Faktorenanalyse (CFA) ist ein Verfahren, mit dem Hypothesen über die Zuordnung von beobachteten Variablen zu dahinterliegenden (latenten) Faktoren über die Anzahl der Faktoren sowie über die Korrelationen zwischen den Faktoren theoriegeleitet überprüft werden können. Die CFA zählt zu den Verfahren der Strukturgleichungsmodelle.

Konsistenzeffekte treten dann auf, wenn Testpersonen versuchen, solche Antworten zu geben, die ihnen bezüglich ihrer Antworten auf vorangegangene Items als „stimmig“ erscheinen.

Die Konstruktäquivalenz ist die empirisch bestätigte Äquivalenz eines psychologischen Konstrukts über Sprachen und Kulturen hinweg.

Im Rahmen der Konstruktvalidierung gilt die konvergente Validität als nachgewiesen, wenn Messungen eines Konstrukts (oder verwandter Konstrukte), das mit verschiedenen Messmethoden erfasst wird, hoch miteinander korrelieren.

Kriteriumsvalidität liegt vor, wenn von einem Testergebnis auf ein für diagnostische Entscheidungen praktisch relevantes Kriterium außerhalb der Testsituation geschlossen werden kann. Kriteriumsvalidität kann durch empirische Zusammenhänge zwischen dem Testwert und möglichen Außenkriterien belegt werden.

Bezeichnung für IRT-Modelle, die davon ausgehen, dass das latente Persönlichkeitsmerkmal zur Charakterisierung von Personenunterschieden aus qualitativen kategorialen latenten Klassen besteht.

Bezeichnung für IRT-Modelle, die davon ausgehen, dass es sich bei dem latenten Persönlichkeitsmerkmal zur Charakterisierung von Personenunterschieden um eine quantitative kontinuierliche latente Dimension handelt.

Das State-Residuum ist der Teil eines States, der ausschließlich die Situation und die Interaktion zwischen Person und Situation repräsentiert.

Tests zur Erfassung der individuellen kognitiven Leistungsfähigkeit in Problemlösesituationen. Beispiele: Intelligenztests, Konzentrationstests etc.

In der LCA ist die Likelihood das Anpassungskriterium bei der Parameterschätzung. Es ist dort definiert als das Produkt der unbedingten Antwortmusterwahrscheinlichkeiten P(av) über alle Antwortmuster in der Stichprobe (Na) hinweg.

Linear-logistische Modelle zerlegen die Schwierigkeitsparameter der Items in für die Bearbeitung des Items erforderliche Basisoperationen. Jeder der Schwierigkeitsparameter wird als Linearkombination einer möglichst geringen Anzahl von Basisparametern ausgedrückt.

Bedingung, die erfüllt sein muss, um die Korrelation zwischen zwei Testitems auf eine dahinterliegende latente Persönlichkeitsvariable zurückführen zu können. Die lokale stochastische Unabhängigkeit liegt dann vor, wenn die Korrelation zwischen den Items verschwindet, wenn man sie auf den einzelnen („lokalen“) Stufen des latenten Persönlichkeitsmerkmals untersucht.

Variablen zur Erfassung des beobachtbaren Antwortverhaltens mit verschiedenen Items, die Indikatoren für die latenten Dimensionen darstellen.

In der KTT Oberbegriff für verschieden strenge Formen von Parallelität eindimensionaler Testitems: τ-Kongenerität, essentielle τ-Äquivalenz, essentielle τ-Parallelität.

Im Rahmen von Strukturgleichungsmodellen werden die Teilmodelle, in denen die Zuordnungen der beobachteten Variablen zu den latenten Variablen (Faktoren) erfolgt, als Messmodelle bezeichnet. In der KTT erfordern verschiedene Messmodelle unterschiedliche Reliabilitätsmaße.

Ein Sammelbegriff für verschiedene systematische Varianzquellen bei der MTMM-Analyse, die sich über den Trait hinausgehend auf die Validität der Messung auswirken können. Hierbei handelt es sich vor allem um Charakteristika der eingesetzten Messinstrumente, der Beurteiler oder der Situationen, in der eine Messung erfolgt.

Kombination aus RaschModell und LCA. Innerhalb jeder latenten Klasse wird versucht, jeweils ein eigenes Rasch-Modell anzupassen. Zwischen den latenten Klassen unterscheiden sich die Parameter des Rasch-Modells.

Werden mit der CFA hierarchisch geschachtelte Modelle spezifiziert und gegeneinander getestet, so kann der Unterschied im Modellfit statistisch über die Differenz der χ2-Werte beider Modelle überprüft werden, die wiederum χ2-verteilt ist.

Eine spezielle Form des adaptiven Testens, bei der mehrere latente Dimensionen als ursächlich für das beobachtete Antwortverhalten angesehen werden; aus den Antworten wird simultan auf mehrere latente Merkmale geschlossen.

Die Multitrait-Multimethod-Analyse ist ein Verfahren zum Nachweis der Konstruktvalidität unter Berücksichtigung einer systematischen Kombination von mehreren Traits und mehreren Messmethoden.

Powertests

Unter Norm(en)aktualisierung versteht man eine erneute Testeichung, sobald die empirische Überprüfung der Gültigkeit von Normen ergeben hat, dass sich die Merkmalsverteilung in der Bezugsgruppe seit der vorherigen Testeichung bedeutsam verändert hat.

Unter Norm(en)differenzierung versteht man die Bildung von separaten Normen für einzelne Subpopulationen aus der Eichstichprobe hinsichtlich eines mit dem Untersuchungsmerkmal korrelierten Hintergrundfaktors (z. B. separate Normen für Männer und Frauen).

Die Normierung dient dazu, Vergleichswerte zur normorientierten Testwertinterpretation zu gewinnen. Dazu werden Testergebnisse von Personen einer Eichstichprobe in Norm(en)tabellen zusammengestellt.

Ein Normwert (z. B. Prozentrang, ɀv-Wert) ermöglicht es, den Testwert Yv einer Testperson hinsichtlich seiner Position in der Testwertverteilung einer bestimmten Bezugsgruppe zu interpretieren.

Ein Test ist dann objektiv, wenn das Testergebnis unabhängig davon ist, wer den Test durchführt, auswertet und interpretiert.

Aufgabentyp, bei dem die einzelnen Bestandteile der Aufgabe so umgeordnet oder einander zugeordnet werden, dass idealerweise eine logisch passende Ordnung entsteht.

Methode der Reliabilitätsschätzung. Die Reliabilität eines Tests, von dem zwei parallele Formen existieren, wird über die Korrelation der Testwerte der beiden parallelen Testformen geschätzt.

Wissenschaftliches Prinzip, demzufolge „sparsamere“ Modelle mit wenigen Parametern bei gleicher Qualität gegenüber aufwendigeren Modellen bevorzugt werden sollten.

Persönlichkeitsmerkmale sind mehr oder weniger zeitlich stabile psychische und physische Eigenschaften von Testpersonen (z. B. Extraversion, Körpergröße).

Das Perzentil bezeichnet jenen Testwert Yv , der einem bestimmten Prozentrang in der Normierungsstichprobe entspricht. Beispielsweise wird derjenige Testwert, der von 30 % der Testpersonen unterschritten bzw. höchstens erreicht wird, als 30. Perzentil bezeichnet.

Im Unterschied zu deterministischen Modellen gehen probabilistische Modelle davon aus, dass bei dichotomen Items die Wahrscheinlichkeit, ein Item zu lösen bzw. ihm zuzustimmen, in Abhängigkeit von der latenten Merkmalsausprägung nicht von 0 auf 1 springt, sondern jeden Wert zwischen 0 und 1 annehmen kann. In der IRT wird die Antwortwahrscheinlichkeit durch eine monoton steigende, meist logistische IC-Funktion modelliert.

Ein Prozentrang gibt an, wie viel Prozent der Bezugsgruppe bzw. Normierungsstichprobe einen Testwert erzielt haben, der niedriger oder maximal ebenso hoch ist wie der Testwert Yv der Testperson v.

Rasch-Modelle stellen eine Klasse von spezifisch objektiven Modellen in der IRT dar. Einparameter-logistisches Modell (1PL-Modell).

Dreiparameter-logistisches Modell (3PL-Modell)

ROC-Analyse

Konkrete Bezeichnung für die Messgenauigkeit eines Tests (Reliabilität). In der KTT wird der Reliabilitätskoeffizient (Rel) als das Verhältnis zwischen True-Score-Varianz Var (τ) und Testwertevarianz Var (Y) definiert.

Eine Stichprobe ist dann repräsentativ, wenn sie hinsichtlich ihrer Zusammensetzung die jeweilige Zielpopulation möglichst genau abbildet.

In der Testentwicklungsphase wird die Testperson „rückblickend“ über Probleme bei der Beantwortung der einzelnen Items befragt.

Im Rahmen der kriteriumsorientierten Testwertinterpretation bezeichnet ein Schwellenwert jenen Testwert, ab dem das Kriterium als erreicht angenommen wird. Schwellenwerte können z. B. mittels ROC-Analyse empirisch bestimmt werden.

Die Sensitivität (Trefferquote) in der ROC-Analyse ist das Verhältnis von „richtig positiv“ (RP) klassifizierten Merkmalsträgern zu der Summe von „falsch negativ“ (FN) und „richtig positiv“ (RP) klassifizierten Merkmalsträgern. Sie bezeichnet damit die Wahrscheinlichkeit, dass ein Fall, der ein Kriterium erfüllt, auch entsprechend als positiv klassifiziert wird.

Ein Test erfüllt das Gütekriterium Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden.

Reliabilitätsmaß, dessen Berechnung essentielle τ-Parallelität von eindimensionalen Items voraussetzt.

Spezifische Objektivität liegt vor, wenn alle IC-Funktionen die gleiche Form aufweisen, d. h. lediglich entlang der η-Achse parallel verschoben sind. Ist dies der Fall, kann der Schwierigkeitsunterschied zweier Items (βj - βi) unabhängig davon festgestellt werden, ob Personen mit niedrigen oder hohen Merkmalsausprägungen η untersucht wurden. Umgekehrt kann auch der Fähigkeitsunterschied zweier Personen (ηw - ηv) unabhängig von den verwendeten Items festgestellt werden.

Die Spezifität (Quote korrekter Ablehnungen) in der ROCAnalyse ist das Verhältnis von „richtig negativ“ (RN) klassifizierten Merkmalsträgern zu der Summe von „falsch positiv“ (FP) und „richtig negativ“ (RN) klassifizierten Merkmalsträgern. Sie bezeichnet damit die Wahrscheinlichkeit, dass ein Fall, der ein Kriterium nicht erfüllt, auch entsprechend als negativ klassifiziert wird.

Die Standardabweichung ist ein Streuungsmaß der Testwertvariablen Y um den Mittelwert Ȳ an. Die Standardabweichung wird als Wurzel aus der Testwertevarianz Var (Y) gewonnen. Ist die Testwertvariable normalverteilt, so befinden sich im Bereich Ȳ ± 1SD (Y) ca. 68 % der Testwerte, im Bereich Ȳ ± 2SD (Y) ca. 95 % der Testwerte.

Als Standardnormen werden die ɀ-Norm sowie weitere durch Lineartransformationen gewonnene Normen (z. B. IQ- oder T-Norm) bezeichnet.

Stichprobenunabhängigkeit bedeutet, dass in RaschModellen die Itemparameter unabhängig von den Personen und die Personenparameter unabhängig von den Items geschätzt werden können.

s. erschöpfende (suffiziente) Statistik

Das TBS-TK ist ein veröffentlichtes Testbeurteilungssystem des Testkuratoriums (TK) zur standardisierten Erstellung und Publikation von Testrezensionen anhand eines vorgegebenen Kriterienkatalogs; s. auch Testkuratorium.

Testadaptation bezeichnet den Prozess einer qualitativ hochwertigen Übertragung (Übersetzung unter Berücksichtigung von Konstruktäquivalenz) und empirischen Evaluation psychologischer Tests aus anderen Sprachen und in andere Sprachen unter Beachtung kultureller Unterschiede.

Testgütekriterien stellen ein System zur Qualitätsbeurteilung psychologischer Tests dar. Üblicherweise werden folgende zehn Kriterien unterschieden: Objektivität, Reliabilität, Validität, Skalierung, Normierung (Eichung), Testökonomie, Nützlichkeit, Zumutbarkeit, Unverfälschbarkeit und Fairness.

Das Testkuratorium (TK) ist ein Gremium der Föderation Deutscher Psychologievereinigungen (Deutsche Gesellschaft für Psychologie [DGPs] e. V. und Berufsverband Deutscher Psychologinnen und Psychologen [BDP] e. V.), dessen Aufgabe es ist, die Öffentlichkeit vor unzureichenden diagnostischen Verfahren und vor der unqualifizierten Anwendung diagnostischer Verfahren zu schützen. Seit Sommer 2011 lautet die Bezeichnung „Diagnostik- und Testkuratorium (DTK)“.

Ein Test erfüllt das Gütekriterium Ökonomie, wenn er – gemessen am diagnostischen Erkenntnisgewinn – relativ wenig Ressourcen wie Zeit, Geld o. Ä. Beansprucht.

Der Testwert (= Rohwert) Yv ist das individuelle numerische Testresultat und wird aus den registrierten Antworten einer Testperson durch Anwendung definierter Regeln gebildet (vgl. aber Personenparameter).

Die Testwertevarianz Var (Y) ist die Varianz der beobachteten Testwerte. In der KTT setzt sie sich aus der wahren Varianz Var (T) und der Fehlervarianz Var (E) zusammen.

In der MTMM-Analyse wird angenommen, dass in jeder Messung Einflüsse des zu messenden Konstrukts und der verwendeten Messmethode zu finden sind. Messungen eines Traits repräsentieren somit eine Trait-Methoden-Einheit.

Itemtrennschärfe

Bei der dichotomen LCA: Wahrscheinlichkeit eines Antwortmusters av in der Stichprobe.

Bei der polytomen LCA: Wahrscheinlichkeit, mit der ein Item i mit der Antwortkategorie k beantwortet wird.

Unverfälschbarkeit eines Tests liegt vor, wenn das Verfahren derart konstruiert ist, dass die zu testende Person durch vorgetäuschtes Verhalten (s. Faking good/bad) die konkreten Ausprägungen ihrer Testwerte nicht steuern bzw. verzerren kann.

Eine visuelle Analogskala ist eine kontinuierliche Skala ohne konkrete Skalenstufen; meist ist sie eine Linie, auf der lediglich die Anfangsund Endpunkte als extreme Zustände markiert sind (z. B. keine Schmerzen vs. unerträgliche Schmerzen). Die Testperson kann durch eine Markierung auf der Linie seine Merkmalsausprägung (aktueller Schmerz) angeben.

In der ROC-Analyse wird der Youden-Index als Wert definiert, der sich aus der Berechnung Sensitivität + Spezifität - 1 ergibt. Der Youden-Index dient der Schwellenwertbestimmung. Der Schwellenwert ist dann optimal, wenn der Youden-Index maximal groß ist. Dann gelingt die Trennung der zu klassifizierenden Fälle am besten.

Zumutbarkeit liegt vor, wenn ein Test absolut sowie relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer sowie körperlicher Hinsicht nicht über Gebühr belastet.

Der ɀv -Normwert gibt an, wie stark der Testwert Yv einer Testperson v vom Mittelwert Ȳ der Verteilung der Normierungsstichprobe (Bezugsgruppe) in Einheiten der Standardabweichung SD (Y) abweicht.