Glossar: Forschungsmethoden und Evaluation

Wissenschaftlicher Erkenntnisgewinn („scientific knowledge gain“) basiert in Erfahrungswissenschaften wie den Sozial- und Humanwissenschaften auf der systematischen Sammlung, Aufbereitung und Analyse von empirischen Daten im Rahmen eines geordneten und dokumentierten Forschungsprozesses. Dabei kommen sozialwissenschaftliche Methoden der Untersuchungsplanung, Stichprobenziehung, Datenerhebung, Datenaufbereitung und Datenanalyse zum Einsatz. Des Weiteren ist der empirische Forschungsprozess theoriebasiert, d. h., in seinem Verlauf werden wissenschaftliche Theorien über den Forschungsgegenstand (sowie über die Forschungsmethodik) angewendet und geprüft oder gebildet und weiterentwickelt. Erst mit Bezug auf Theorien sind empirische Daten sinnvoll interpretierbar.

Wissenschaftliche Methoden („scientific methods“) sind in der empirischen Sozialforschung vor allem einzelne Verfahren bzw. Techniken der Datenerhebung und Datenanalyse. Wissenschaftliche Datenerhebungsmethoden in diesem Sinne sind beispielweise psychologische Testverfahren wie der Intelligenztest, physiologische Messungen wie die EKG-Messung oder Interviewtechniken wie das Leitfaden-Interview. Wissenschaftliche Datenanalysemethoden sind z. B. die qualitative Inhaltsanalyse oder die statistische Varianzanalyse.

Quantitative Sozialforschung („quantitative social research“) steht in der wissenschaftstheoretischen Tradition der Naturwissenschaften. Sie bedient sich im Zuge eines sequenziell organisierten Forschungsprozesses quantitativer d. h. strukturierter bzw. standardisierter Methoden der Datenerhebung (z. B. standardisierte Fragebogenerhebungen, psychologische Testverfahren, physiologische Messungen), aus denen quantitative bzw. numerische Daten (Messwerte) resultieren, die statistischen Methoden der Datenanalyse unterzogen werden.

Wichtige quantitative Methodologien sind u. a. die Umfrageforschung („survey research“), die mit sehr großen und teilweise bevölkerungsrepräsentativen Stichproben arbeitet, welche anhand standardisierter Fragebögen untersucht werden, sowie die Experimentalforschung („experimental research“), bei der Ursache-Wirkungs-Relationen durch kontrollierte Variation der Bedingungen und Messung der Effekte im Feld oder im Labor geprüft werden. Typisch für quantitative Sozialforschung ist darüber hinaus der Einsatz von psychometrischen Tests („psychometric tests“) sowie physiologischen Messungen („physiological measurements“), um psychische und physische Merkmale des Menschen präzise zu quantifizieren.

Die wissenschaftstheoretische Basis des qualitativen Paradigmas in der empirischen Sozialforschung ist deutlich heterogener als im quantitativen Paradigma. Je nach qualitativem Forschungsfeld wird u. a. mit sozialkonstruktivistischen, interpretativen, poststrukturalistischen, symbolisch-interaktionistischen, phänomenologischen oder dialektischen Erkenntnistheorien gearbeitet. Es existieren aber übergreifende wissenschaftstheoretische Prinzipien qualitativer Sozialforschung. So wird in der Regel davon ausgegangen, dass Erkenntnisgewinn dadurch zustande kommt, dass man zunächst den Untersuchungsgegenstand in seinem Kontext sowie die Sichtweisen der Beteiligten detailliert rekonstruiert, um daraus dann schrittweise Hypothesen und Theorien abzuleiten und in mehreren Überarbeitungsschleifen mit den Daten abzugleichen. Dabei wird die Erfahrungswirklichkeit anhand der Detailbetrachtung weniger Fälle möglichst ganzheitlich untersucht.

Der Mixed-Methods-Ansatz in der empirischen Sozialforschung („mixed methods approach“, „mixed-methods research“) kombiniert und integriert quantitative und qualitative Forschungsstrategien innerhalb einer Studie bzw. eines Forschungsprojekts, um dadurch den Erkenntnisgewinn zu erhöhen.

Mixed-Methods-Forschung basiert immer auf einer dezidierten Mixed-Methods-Methodologie („mixed methods methodology“), die quantitative und qualitative Forschungsprozesse miteinander koppelt. Dazu stehen diverse Kombinationsstrategien zur Verfügung, die jeweils Verzahnungen in unterschiedlichen Phasen des Forschungsprozesses – etwa auf der Ebene der Forschungsfrage, des Untersuchungsdesigns, der Datenerhebung, der Datenanalyse und/oder der Interpretation – beinhalten.

Die Anwendungsforschung („applied research“) widmet sich praxisbezogenen Fragestellungen und erfolgt oft als Auftragsforschung.

Die Deduktion („deduction“) ist eine Schlussfolgerung vom Allgemeinen auf das Spezielle, in der empirischen Sozialforschung eine Schlussfolgerung von Theorien auf empirische Daten, die von der Theorie vorhergesagt werden. Beim deduktiven Schließen beginnt der Erkenntnisprozess mit einer Theorie, aus der man empirisch prüfbare Hypothesen ableitet und im Falle von deren Widerlegung anhand von Daten die Theorie kritisiert bzw. im Falle ihrer Nicht-Widerlegung die Theorie als vorläufig bestätigt ansieht. Das sog. deduktiv-nomologische Erklärungsmodell dient der Theorieprüfung im quantitativen Paradigma der empirischen Sozialforschung (Abschn. 2.2.8).

Gemäß der wissenschaftstheoretischen Position des Kritischen Rationalismus („critical rationalism“) kommt Erkenntnis dadurch zustande, dass der menschliche Verstand (Ratio) zunächst Theorien als Vermutungen über die Realität aufstellt. Aus diesen Theorien werden deduktiv empirisch prüfbare Hypothesen abgeleitet und anhand von Daten kritisch in der Wissenschaftsgemeinschaft geprüft. Die kritische Prüfung von Hypothesen umfasst darüber hinaus immer auch eine kritische Betrachtung der Voraussetzungen der Datengewinnung (d. h. eine Methodenkritik) sowie eine kritische Auseinandersetzung mit konkurrierenden Hypothesen und Theorien.

Der Kritische Rationalismus beschreibt Erkenntnisfortschritt als Aussondern nicht-bestätigter Theorien durch Falsifikation bzw. umgekehrt als Zurückbehalten von nicht-falsifizierten – d. h. vorläufig bestätigten bzw. bewährten – Theorien. Er wird deswegen auch als Falsifikationismus („falsificationism“) sowie als Kritizismus („criticism“) bezeichnet und stellt ein ausdrückliches Gegenmodell zu dem auf Verifikation basierenden Empirismus bzw. Positivismus dar.

Wissenschaftliche Forschung besteht im Verständnis des Kritischen Rationalismus bzw. Fallibilismus in einer nie endenden Wahrheitssuche („search for truth“) durch kritische Prüfung von Theorien, wobei man sich durch Versuch und Irrtum der Wahrheit zumindest annähert. Dies setzt voraus, dass wissenschaftliche Theorien so zu formulieren sind, dass man sie prinzipiell empirisch prüfen und falsifizieren kann (Falsifizierbarkeit). Nichtfalsifizierbare Behauptungen sind laut Kritischem Rationalismus nicht Gegenstand der Erfahrungswissenschaft.

Gemäß kritischem Realismus sind empirische Daten keine reinen Abbilder der Realität, sondern im Zuge der Forschung erzeugte, stets von Theorien durchsetzte Beschreibungen, deren Übereinstimmung mit der beobachtbaren Wirklichkeit (sog. Basissatzproblem) sowie deren Entsprechung mit den jeweiligen Begriffen/Konstrukten innerhalb der zu prüfenden Theorie (sog. Korrespondenzproblem) ihrerseits theoretisch zu fassen und kritisch-empirisch zu prüfen sind anhand sog. Hilfs- oder Instrumententheorien.

Das Korrespondenzproblem („problem of correspondence“) bezieht sich auf die Problematik des Nachweises, dass die in einer empirischen Untersuchung eingesetzten Indikatoren tatsächlich das erfassen, was mit den in der zu prüfenden Theorie verwendeten abstrakten Begriffen bzw. theoretischen Konstrukten gemeint ist. Diese Übereinstimmung kann nicht bewiesen, sondern nur in einem – ständiger Kritik unterzogenen –Konsens derWissenschaftsgemeinschaft festgelegt werden.

Der Bewährungsgrad („corroboration“) einer erfahrungswissenschaftlichen Theorie zu einem bestimmten Sachverhalt ist im Verständnis des Kritischen Rationalismus von der Anzahl und Strenge der überstandenen Replikations- bzw. Falsifikationsversuche abhängig.

Theoriekonträre empirische Ergebnisse können zum Anlass genommen werden, die betreffende Theorie nicht komplett zu verwerfen, sondern zu modifizieren. Eine typische Theoriemodifikation besteht in der Exhaustion („exhaustion“), bei der der Geltungsbereich der Theorie eingeschränkt wird, um theoriekonträre Fälle auszuschließen. Diese Einschränkung des Geltungsbereiches läuft auf eine Erweiterung des Wenn-Teils der Theorie durch eine oder mehrere logische Und-Komponenten hinaus. Exhaustion kann den empirischen Bestätigungsgrad einer Theorie steigern, allerdings auf Kosten ihres Informationsgehaltes bzw. Allgemeingültigkeitsanspruchs.

Der Kritische Rationalismus konzentriert sich im Zusammenhang mit wissenschaftlichem Erkenntnisgewinn auf den Begründungszusammenhang. Mit dem Begründungs- oder Rechtfertigungszusammenhang („context of justification“) ist die Frage angesprochen, ob und wie eine Theorien intersubjektiv nachvollziehbar als ungültig (falsifiziert) oder als vorläufig bestätigt bzw. bewährt (bislang nicht falsifiziert) ausgewiesen werden kann. Die Prüfung von wissenschaftlichen Theorien soll laut Kritischem Rationalismus in der Forschung gemäß dem deduktiven Falsifikationsprinzip methodisch angeleitet in nachvollziehbarer Weise anhand von empirischen Daten erfolgen. Wobei gemäß raffiniertem methodologischem Falsifikationismus immer auch die Erklärungskraft der Theorie im Vergleich zu anderen Theorien ein Beurteilungskriterium ist.

Mit dem Verwendungszusammenhang („context of application“) ist die Nutzung wissenschaftlicher Theorien und Forschungsergebnisse gemeint. Diese erfolgt teils innerhalb der Wissenschaft (z. B. vorliegende Theorien und Befunde werden als Grundlage weiterer wissenschaftlicher Studien herangezogen), teils aber auch außerhalb der Wissenschaft in diversen Praxisfeldern (z. B. eine psychologische Theorie wird zur Entwicklung einer psychotherapeutischen Intervention herangezogen; eine erziehungswissenschaftliche Theorie wird zur Gestaltung einer Schulreform herangezogen). Eine Theorie, die in der Praxis oft und offenbar erfolgreich genutzt wird, kann einen hohen praktischen Bewährungsgrad beanspruchen. Allerdings sind die Verhältnisse in der Praxis von vielen Faktoren beeinflusst, sodass praktische Verwertbarkeit keine umfassende, systematische Theorieprüfung darstellt (diese ist im Verständnis des Kritischen Rationalismus im Begründungszusammenhang zu leisten).

Wertvorstellungen der Forschenden dürfen und sollen darüber mitentscheiden, welchen Forschungsproblemen sie sich zwecks Theoriebildung zuwenden oder nicht zuwenden (Entdeckungszusammenhang) und inwiefern sie eine bestimmte Anwendung ihrer Forschungsergebnisse und ihrer Theorien aktiv fördern oder nicht fördern (Verwendungszusammenhang).

Da probabilistische Theorien und Hypothesen nicht durch widersprechende Einzelfälle falsifizierbar sind, müssen begründete Falsifikationskriterien eingeführt werden. Zur Prüfung von Forschungshypothesen durch Daten dient im quantitativen Paradigma meist der statistische Signifikanztest, der Stichprobenergebnisse wahrscheinlichkeitstheoretisch bewertet und konventionell mit einem Signifikanzniveau von Alpha = 5 % (oder 1 %) als Falsifikationskriterium operiert. Das Ergebnis eines statistischen Hypothesentests ist deswegen immer mit Unsicherheit behaftet: Statistisch liefert bei einem Signifikanzniveau von 5 % dementsprechend von 20 Signifikanztests ein Signifikanztest ein falsch-positives Ergebnis (d. h. ein statistisch signifikantes Ergebnis, obwohl die Forschungshypothese in der Population nicht zutrifft).

Ein Sachverhalt wird durch einen einzigen Ursachenfaktor erklärt. Theorien mit einem einzigen Erklärungsfaktor werden oft als zu stark vereinfachend betrachtet. Sie können durch weitere Theorien ergänzt werden, die andere Ursachen des fraglichen Sachverhalts adressieren.

Ontologisch wird die im qualitativen Paradigma empirischer Sozialforschung untersuchte soziale Wirklichkeit auf der Ebene der alltäglichen Lebenswelt der Individuen angesiedelt. Denn menschliches Erleben und Handeln lässt sich im Verständnis des qualitativen Paradigmas nicht durch allgemeine Gesetzmäßigkeiten kausal erklären, sondern nur anhand der jeweils individuellen Weltsichten und Sinngebungen der Beteiligten in ihren jeweiligen Alltagszusammenhängen verstehen und intentional erklären. Durch diese Gegenstandsbestimmung befinden sich nicht-lebensweltliche Makro- und Mikro-Phänomene außerhalb des Fokus der qualitativen Sozialforschung.

Der qualitative Forschungsprozess wird nicht vorab vollständig durchgeplant, festgelegt und dann linear abgearbeitet, sondern idealerweise flexibel gestaltet: In mehreren Untersuchungszyklen innerhalb einer Studie sollen anhand der Zwischenergebnisse jeweils das Untersuchungsdesign, die Auswahl der Fälle und/oder die Datenerhebungs- und Datenanalyse-Hilfsmittel überarbeitet (Flexibilität des Vorgehens) und dem untersuchten Gegenstand somit schrittweise immer besser angepasst werden (Zirkularität bzw. Spiralförmigkeit der verstehenden Annäherung an den Untersuchungsgegenstand).

Das qualitative Paradigma empirischer Sozialforschung vertritt eine subjektivistische Erkenntnistheorie, dergemäß der Erkenntnisprozess immer untrennbar mit der Person der Forschenden – ihrer Subjektivität und Perspektivität – verknüpft ist. Ihr persönliches Verhältnis zum jeweiligen Untersuchungsgegenstand und zu den Untersuchungspersonen müssen Forschende deswegen kritisch reflektieren. Die Reflexion der Subjektivität und Perspektivität gilt als zentrale Erkenntnisquelle und muss entsprechend auch dokumentiert werden. Das betrifft nicht zuletzt die Position und Perspektive der Forschenden im Kontext sozialer Hierarchien und gesellschaftlicher Machtverhältnisse.

Nicht-Wissenschaft („non science“) befasst sich häufig mit ähnlichen Fragestellungen wie wissenschaftliche Forschung (das gilt besonders für die Human- und Sozialwissenschaften mit ihren oft alltagsnahen Untersuchungsgegenständen). Allerdings wird bei Nicht-Wissenschaft kein geordneter Forschungsprozess durchlaufen und auch nicht der Anspruch der Wissenschaftlichkeit erhoben.

Parawissenschaft („para science“) beschäftigt sich mit anomalen Sachverhalten, deren Existenz und Beschaffenheit auf dem aktuellen wissenschaftlichen Kenntnisstand nicht erklärbar sind. Dabei wird gemäß wissenschaftlicher Methodologie und Methodik vorgegangen und auch der Anspruch der Wissenschaftlichkeit erhoben. Mit zunehmendem Erkenntnisgewinn kann sich eine Parawissenschaft zu einer regulären Wissenschaft entwickeln.

Konstruktvalidität („construct validity“): Repräsentieren die verwendeten Messinstrumente (abhängige Variablen) sowie die hergestellten Untersuchungsbedingungen (unabhängige Variablen) inhaltlich in hohem Maße jeweils genau die interessierenden theoretischen Konstrukte? Kann von den empirisch-statistischen Ergebnissen auf die interessierenden theoretischen Konstrukte zurückgeschlossen werden? Die Konstruktvalidität ist vor allem von der Qualität der Theoriearbeit (Konzeptspezifikation) sowie der Operationalisierung abhängig.

Externe Validität („external validity“): Inwiefern können die Ergebnisse der Studie – vor allem im Sinne der Wirkungen einer Maßnahme – auf andere Orte, Zeiten, Wirkvariablen, Treatment-Bedingungen oder Personen als die konkret untersuchten verallgemeinert werden? Die externe Validität ist vor allem von der Qualität des Untersuchungsdesigns und der Stichprobenziehung (in der Umfrageforschung idealerweise probabilistische bzw. repräsentative Stichprobe; in der Experimentalforschung dagegen meist nicht-probabilistische Stichproben) abhängig.

Die Forschungsethik („research ethics“, „ethics of research“) umfasst alle ethischen Richtlinien, an denen sich Forschende bei ihrer Forschungstätigkeit – und zwar hier speziell bei der Datenerhebung und Datenanalyse im Rahmen empirischer Studien – orientieren sollen. Im Mittelpunkt stehen der verantwortungsvolle Umgang mit menschlichen und tierischen Untersuchungsteilnehmenden (bzw. ihren Daten) und ihr Schutz vor unnötigen oder unverhältnismäßigen Beeinträchtigungen durch den Forschungsprozess. Dass und wie der Forschungsethik in einer konkreten Studie Genüge getan wird, sollte im Vorfeld genau überlegt und im Forschungsbericht erläutert werden. Immer häufiger wird in verschiedenen human- und sozialwissenschaftlichen Disziplinen auch verlangt, dass geplante Studien mit menschlichen oder tierischen Probanden vor ihrer Durchführung durch eine Ethik-Kommission geprüft und genehmigt werden.

Eine Wissenschaftsfälschung („scientific fraud“) liegt vor, wenn a) empirische Forschungsergebnisse bewusst in Richtung eines Wunschergebnisses manipuliert werden (z. B. gezielte Eliminierung hypothesenkonträrer Fälle oder geschönte Darstellung von Befunden; „data falsification“, „data massaging“) oder wenn b) gar keine empirischen Daten erhoben, sondern die Ergebnisse erfunden wurden (z. B. simulierte Datensätze; „data fabrication“).

Wissenschaftliche Autorschaft („academic authorship“) meint die namentliche Nennung aller Forschenden, die maßgeblich an der Durchführung und Veröffentlichung einer wissenschaftlichen Studie beteiligt waren. Da human- und sozialwissenschaftliche Studien meist in Teamarbeit durchgeführt werden, muss gemäß den Regeln guter wissenschaftlicher Praxis in sachlich angemessener und fairer Weise festgelegt werden, welche Art von Mitarbeit eine Person zur Mitautorschaft qualifiziert und wie bei kollektiver Autorschaft die Autor:innenreihenfolge festzulegen ist.

Die Registrierung („registration“) von klinischen Studien (meist randomisierte Kontrollgruppenstudien) meint das Anmelden einer Studie vor ihrer Durchführung anhand definierter Angaben zur Stichprobe sowie zu den unabhängigen und abhängigen Variablen auf einem zertifizierten Registrierungsserver. Die Studie erhält damit ein Registrierungsdatum, eine Identifikationsnummer und ist öffentlich auffindbar. Die Studienregistrierung macht das Forschungsgeschehen transparenter und verschafft einen Überblick darüber, welche Studien bereits durchgeführt wurden, unabhängig davon, ob über die Studie dann auch Publikationen entstehen. Eine führende internationale Registrierungsplattform für klinische Studien ist die von der Weltgesundheitsorganisation WHO betriebene International Clinical Trials Registry Platform (ICTRP; https://www.who.int/clinical-trials-registry-platform).

Das Forschungsthema („research subject“) benennt einen Untersuchungsgegenstand.

Die Forschungshypothese („research hypothesis“) wird aus etablierten Theorien und/oder gut gesicherten empirischen Befunden abgeleitet und postuliert die Existenz, Richtung und Stärke eines bestimmten Effekts. Anhand von Hypothesenprüfungen werden bestehende Theorien getestet und weiterentwickelt.

Forschungshypothesen („research hypotheses“) postulieren die Existenz, die Richtung und die Stärke unterschiedlicher Arten von Effekten. Zu jeder Forschungshypothese bzw. Alternativhypothese („research hypothesis“, „alternative hypothesis“: H1) lässt sich eine komplementäre Nullhypothese („null hypothesis“: H0) aufstellen, die den postulierten Effekt negiert. Das Hypothesenpaar bestehend aus H1 und H0 bildet die Grundlage des Nullhypothesen-Signifikanztests („null hypothesis significance testing“, NHST), einer sehr verbreiteten Methode der statistischen Hypothesenprüfung (Abschn. 12.5.1). Bei der Darstellung der Hypothesen in Forschungsberichten und Publikationen werden nur die Forschungshypothesen (nicht die Nullhypothesen) angegeben.

Unterschieds-, Zusammenhangs- und Veränderungshypothesen können sowohl als ungerichtete bzw. zweiseitige Hypothese („non-directional hypothesis“, „two-sided hypothesis“) als auch – das ist in der Forschungspraxis der übliche Fall – als gerichtete bzw. einseitige Hypothese („directional hypothesis“, „one-sided hypothesis“) formuliert werden. Bei der gerichteten Hypothese wird jeweils die Richtung von Gruppenunterschieden, Merkmalszusammenhängen oder Veränderungen vorab postuliert. Bei der ungerichteten Hypothese bleibt die Richtung offen, lediglich die Existenz eines von Null abweichenden Effekts wird behauptet.

Bei Forschungsfragen („research question“) wird ergebnisoffen gefragt, ob ein Effekt existiert. Wenn ja, welche Richtung und Größe sowie welche qualitative Beschaffenheit hat er? Empirische Befunde zu Forschungsfragen dienen der Gegenstandsbeschreibung und Hypothesenbildung.

Im qualitativen Forschungsansatz („qualitative research approach/strategy“) werden offene Forschungsfragen an wenigen Untersuchungseinheiten sehr detailliert mit unstrukturierten oder teilstrukturierten Datenerhebungsmethoden untersucht. Ziel ist eine Gegenstandsbeschreibung samt Theoriebildung. Die erhobenen qualitativen (nicht-numerischen, d. h. verbalen, visuellen) Daten werden interpretativ ausgewertet.

Der Mixed-Methods-Ansatz („mixed methods approach“) kombiniert qualitative und quantitative Vorgehensweisen zu neuen Mixed-Methods-Designs.

Die anwendungswissenschaftliche Studie („applied research study“) dient primär der Lösung praktischer Probleme mithilfe wissenschaftlicher Methoden und Theorien. Anwendungsforschung findet als unabhängige Forschung („independent research“, „non-commercial research“) oder als Auftragsforschung („contract resarch“, „commercial research)“ statt.

Die Methodenstudie („methodological study“) dient dem Vergleich und der Weiterentwicklung von Forschungsmethoden.

Bei der Primärstudie bzw. Primäranalyse („primary analysis“) als dem typischen Fall einer empirischen Studie werden die empirischen Daten selbst erhoben und anschließend analysiert.

Bei der Metastudie bzw. Metaanalyse („meta analysis“) werden die Ergebnisse direkt vergleichbarer Studien zum selben Thema zu einem Gesamtergebnis statistisch zusammengefasst. Da die Metaanalyse mit empirischen Ergebnissen weiterrechnet und somit eine statistische Datenanalyse enthält, kann sie als Sonderform einer empirischen Studie eingeordnet werden. Allerdings arbeitet sie nicht mit Orgininaldatensätzen, sondern stützt sich ausschließlich auf Ergebnisberichte von Studien und wird deswegen auch als Theorie- oder Literaturarbeit eingestuft (Kap. 16).

Die explanative Studie („explanatory study“) dient der Überprüfung vorher aufgestellter Hypothesen und somit auch der Theorien, aus denen sie abgeleitet wurden (Abschn. 2.2.8).

Die experimentelle Studie/randomisierte kontrollierte Studie („experimental study“) bildet für die Prüfung einer Kausalhypothese zunächst künstlich nach dem Zufallsprinzip mindestens zwei Gruppen (Randomisierung; „randomization“, „random assignment to groups“), behandelt diese systematisch unterschiedlich (experimentelle Manipulation der unabhängigen Variable/n; „experimental manipulation“, „manipulated independent variable/s“), und misst die in den Experimental- und Kontrollgruppen resultierenden Effekte auf die abhängige/n Variable/n. Man spricht auch von einem echten Experiment (im Unterschied zum Quasi-Experiment) oder von einer randomisierten Kontrollgruppenstudie bzw. einer randomisierten kontrollierten Studie („randomized controlled trial“, RCT).

Eine nicht-experimentelle Studie („non-experimental study“, „descriptive study“) greift auf vorgefundene Gruppen zurück (keine Randomisierung) und betrachtet deren vorgefundene Unterschiede (keine experimentelle Variation der unabhängigen Variable/n, sondern vorgefundene Variation). Sie ist zur Prüfung von Kausalhypothesen nur sehr bedingt geeignet, aus forschungsökonomischen sowie forschungsethischen Gründen aber bei manchen Forschungsthemen die einzige Option.

(„external validity“) Eine Untersuchung ist extern valide, wenn ihre Ergebnisse über die Bedingungen der Untersuchungssituation und über die untersuchten Personen hinausgehend generalisierbar sind. Die externe Validität sinkt meist mit wachsender Unnatürlichkeit der Versuchsbedingungen im Hinblick auf die alltägliche Lebenswelt und mit abnehmender Repräsentativität der Versuchspersonen im Hinblick auf die Zielpopulation.

Die Feldstudie („field study“) findet im natürlichen Umfeld statt, sodass die Untersuchungsbedingungen den Alltagsbedingungen ähneln und auf diese möglichst gut übertragbar sind. Erkauft wird die Natürlichkeit der Bedingungen durch eine verminderte Kontrolle von Störvariablen, was die kausale Interpretierbarkeit der Befunde erschwert.

Eine (quasi-)experimentelle Studie mitMesswiederholungen („repeated measures/measurement design“; „withinsubjects design“) beinhaltet a) eine Prä-Post-Messung zur Prüfung individueller Veränderungen durch die Intervention (was die interne Validität der Studie erhöht) und/oder es werden b) ganz oder teilweise dieselben Versuchspersonen in den unterschiedlichen Experimental- und Kontrollgruppen eingesetzt (was sowohl die Zahl der benötigten Probanden als auch den Einfluss personengebundener Störvariablen reduziert). Die Vorteile von Messwiederholungen sind jedoch mit gewissen Nachteilen und Risiken verbunden, sodass die Einsatzmöglichkeiten von Messwiederholungen in Abhängigkeit von Forschungsproblem und Rahmenbedingungen bei der Planung des Untersuchungsdesigns abzuwägen sind.

Eine Trendstudie („trend study“) besteht aus mehreren, in zeitlichem Abstand durchgeführten Querschnittstudien, in denen jeweils (zumindest teilweise) dieselben Variablen erhoben werden. Trendstudien dienen der Untersuchung von gesellschaftlichem Wandel.

Bei einer Gruppenstudie („group design“) wird eine Stichprobe von Objekten aus der Grundgesamtheit untersucht und zusammenfassend ausgewertet – dies ist sowohl in der qualitativen als auch in der quantitativen Forschung der häufigste Fall (z. B. quantitative Aggregatwerte wie Mittelwerte, Prozentwerte, Korrelationskoeffizienten oder qualitative Aggregate wie Kategorien und Typen). Eine Gruppenstudie kann nicht nur als Stichprobenstudie, sondern auch als Vollerhebung realisiert werden, indem die gesamte Population untersucht wird, was nur bei kleinen Populationen möglich ist.

Die Variable („variable“) ist ein Merkmal, das im Unterschied zur Konstante verschiedene Ausprägungen annehmen kann. Man unterscheidet stetige Variablen („continuous variable“) mit unendlich vielen, fein abgestuften Ausprägungen von diskreten Variablen („discrete variable“, „discontinuous variable“) mit einer kleinen und begrenzten Zahl an Ausprägungen.

Bei einem latenten Merkmal bzw. einer latenten Variable („latent variable“) bzw. einem theoretischen Konzept/Konstrukt („theoretical concept“, „theoretical construct“) sind die Ausprägungen nicht direkt beobachtbar und die theoretische Bedeutung ist erklärungsbedürftig.

Die Operationalisierung („operationalization“) eines theoretisches Konzepts bzw. einer latenten Variable legt fest, anhand welcher beobachtbaren Variablen (Indikatoren) die Ausprägung des theoretischen Konzepts bei den Untersuchungsobjekten festgestellt werden soll. Neben der Auswahl der Indikatoren gehört zur Operationalisierung auch die Festlegung der Messinstrumente, mittels derer den Ausprägungen der einzelnen Indikatoren jeweils entsprechende numerische Werte zugeordnet und zu einem Gesamtmesswert für das Konstrukt verrechnet werden. Komplexe theoretische Konstrukte werden selten mit einem einzigen Indikator (Einzelindikator als Messinstrument) operationalisiert, sondern meist über einen Satz von Indikatoren (d. h. über eine psychometrische Skala oder einen Index). Mit der Festlegung der Operationalisierung wird für ein theoretisches Konzept (dargelegt über seine Nominaldefinition) eine konkretisierende operationale Definition („operational definition“) vorgenommen.

Bei einem formativen Messmodell geht man davon aus, dass das zu messende Konstrukt die Wirkung oder Folge der Merkmalsausprägungen der Indikatoren ist. Als Messinstrument wird ein Index gebildet, in den heterogene Kennwerte eingehen (sog. formative Indikatoren, durch die das Konstrukt ursächlich gebildet wird).

Unter einer Skala („scale“) versteht man im Kontext der Messtheorie ein empirisches Relativ, ein numerisches Relativ und eine die beiden Relative verknüpfende, homomorphe Abbildungsfunktion.

Eine Nominalskala („nominal scale“, „categorical scale“) ordnet den Objekten eines empirischen Relativs Zahlen zu, die so geartet sind, dass Objekte mit gleicher Merkmalsausprägung gleiche Zahlen und Objekte mit verschiedener Merkmalsausprägung verschiedene Zahlen erhalten.

Unter Konsistenz („intra-rater consistency“, „intra-rater reliability“) versteht man die Widerspruchsfreiheit der Paarvergleichsurteile, die eine Person über die Urteilsobjekte abgibt.

Eine Intervallskala („interval scale“) ordnet den Objekten eines empirischen Relativs Zahlen zu, die so geartet sind, dass die Rangordnung der Zahlendifferenzen zwischen je zwei Objekten der Rangordnung der Merkmalsunterschiede zwischen je zwei Objekten entspricht. Die Intervallskala zeichnet sich durch Äquidistanz bzw. Gleichabständigkeit der Messwerte aus.

Eine Verhältnisskala bzw. Ratioskala („ratio scale“) ordnet den Objekten eines empirischen Relativs Zahlen zu, die so geartet sind, dass das Verhältnis zwischen je zwei Zahlen dem Verhältnis derMerkmalsausprägungen der jeweiligen Objekte entspricht. Die Verhältnisskala verfügt über einen absoluten Nullpunkt.

Eine psychometrische Skala („psychometric scale“) dient der Operationalisierung eines theoretischen Konstrukts im Rahmen eines reflektiven Messmodells. Sie besteht aus einem Satz von formal und inhaltlich ähnlichen bzw. reflektiven Indikatorvariablen in Form von Skalen-Items. Skalen-Items („scale items“) sind Fragen, Aussagen oder Aufgaben plus standardisiertem Antwortformat (häufig werden als Antwortformat Ratingskalen verwendet). Anhand der Antworten auf die einzelnen Items wird der Skalenwert („score“) gebildet (z. B. als ungewichteter oder gewichteter Summen- oder Durchschnittswert). Eine psychometrische Skala kann eindimensional (aus allen Items wird ein Gesamtskalenwert gebildet) oder mehrdimensional sein (aus jeweils einem Teil der Items werden Subskalenwerte gebildet, welche die Ausprägung von Unteraspekten des gemessenen Merkmals repräsentieren). Die Dimensionalität einer Skala muss geprüft und bekannt sein. Ebenso müssen die psychometrischen Gütekriterien (v. a. Reliabilität und Validität) der Skala empirisch überprüft sein und Mindestanforderungen erfüllen. Die von psychometrischen Skalen erzeugten Messwerte werden üblicherweise als intervallskaliert aufgefasst. Mit Techniken der probabilistischen Testtheorie bzw. Item-Response-Theorie kann das Skalenniveau auch empirisch geprüft werden.

Eine Guttman-Skala („Guttman scale“) ist eine psychometrische Skala, die aus mehreren Aussagen besteht, die alle dasselbe Merkmal messen und jeweils mit Zustimmung oder Ablehnung (Ja-/Nein-Format) einzuschätzen sind. Die Guttman-Items einer Skala werden so konstruiert, dass sie graduell jeweils eine immer stärkere Intensität des gemessenen Merkmals repräsentieren. Eine Person, die dem vierten Item auf der Skala zustimmt, muss also alle vorherigen, leichteren Items ebenfalls bejaht haben, wenn das Skalierungsmodell zutrifft. Der Skalenwert der Guttman-Skala berechnet sich als Summe aller zugestimmten Items.

Das Semantische Differenzial („semantic differential“ SD, „semantic differential scale“) ist ein spezieller Typ einer psychometrischen Skala, mit dem vor allem die konnotative Bedeutung von Begriffen oder Objekten mithilfe eines Satzes von 20–30 bipolaren Adjektivpaaren erfasst wird. Das Ergebnis ist ein für das betreffende Urteilsobjekt charakteristischer Profilverlauf. Durch die Adjektivpaare werden verschiedene Dimensionen des Urteilsobjekts erfasst, beim klassischen Semantischen Differenzial sind das die drei Dimensionen Evaluation, Potency und Activity (EPA-Struktur). Es existieren Semantische Differenziale mit unterschiedlichen Sätzen von Adjektivpaaren und unterschiedlicher Anzahl von Dimensionen (typisch sind zwei bis vier Dimensionen). Für die Dimensionen werden Subskalenwerte gebildet.

Neben dem Index als Messverfahren, das unterschiedliche formative Indikatoren zur Messung eines komplexen Merkmals verknüpft, existiert der Index („index“) bzw. die „Rate“ als ein standardisierter Kennwert für ein einfaches Merkmal. Er wird gebildet, indem man die interessierende Indikatorvariable (z. B. Häufigkeit von Straftaten, Ehescheidungen, Geburten, Körpergewicht, Schwangerschaften trotz Verhütung) mit einer festgelegten Größe in Beziehung setzt, wodurch sich die inhaltliche Aussagekraft und Interpretierbarkeit der Variable erhöht.

Unter Vollerhebung (Totalerhebung, „total population survey“) versteht man die Untersuchung aller Objekte einer definierten Population.

Im Zusammenhang mit Stichprobenerhebungen müssen drei Populationskonzepte differenziert werden: Während die Zielpopulation („target population“) die Gesamtheit aller Objekte meint, über die Aussagen getroffen werden sollen, umfasst die Auswahlpopulation („frame population“) die Gesamtheit aller Objekte, die prinzipiell eine Chance haben, in die Stichprobe zu gelangen. Angesichts von Stichprobenausfällen erlaubt eine konkrete Stichprobe meist keinen direkten Rückschluss auf die Auswahlpopulation, sondern nur auf eine sog. Inferenzpopulation („inference population“), also die Gesamtheit aller Objekte, aus der die Stichprobe tatsächlich stammt.

Eine merkmalsspezifisch-repräsentative Stichprobe liegt vor, wenn die Zusammensetzung der Stichprobe hinsichtlich einiger relevanter Merkmale der Populationszusammensetzung entspricht. Dies wird typischerweise durch eine nicht-probabilistische Quotenstichprobe erreicht.

Bei einer nicht-probabilistischen (nicht zufallsgesteuerten) Stichprobe erfolgt die Auswahl der Untersuchungsobjekte willkürlich und/oder bewusst/absichtsvoll durch die Forschenden. Bei nicht-probabilistischen Stichproben ist unbekannt, welche Auswahlwahrscheinlichkeit die einzelnen Elemente der Population haben bzw. in welcher Weise und in welchem Ausmaß die Stichprobenzusammensetzung gegenüber einer Zielpopulation verzerrt ist.

Die Stichprobenziehung nach dem Quotenverfahren („quota sampling“) setzt voraus, dass man die Populationszusammensetzung hinsichtlich einiger, für die Untersuchungsfrage wichtiger soziodemografischer Merkmale kennt. Diese Merkmalsverteilung wird anhand des Quotenplans („quota plan“) dann durch bewusste bzw. systematische Auswahl von Personen oder Objekten mit bestimmten Merkmalen (oder Merkmalskombinationen) in der Stichprobe nachgebildet. Die resultierende Quotenstichprobe („quota sample“) kann als nicht-probabilistische Stichprobe zwar keine globale Repräsentativität, durch den Quotenplan aber merkmalsspezifische Repräsentativität (hinsichtlich der Quotierungsmerkmale) beanspruchen. Die Quotierungsmerkmale können gekreuzt (Kreuzquoten) – also kombiniert – oder einzeln bzw. ungekreuzt (unabhängige Quoten) in den Quotenplan eingehen.

Die Stichprobenziehung nach der Methode des Respondent Driven Sampling (RDS) stellt eine Weiterentwicklung der Schneeballstichprobe dar und ist wie diese geeignet für Populationen, die für die Forschenden schwer erreichbar, deren Mitglieder untereinander jedoch gut vernetzt sind. Das Respondent Driven Sampling ist wesentlich aufwändiger als das Schneeballverfahren, garantiert jedoch durch eine bessere Kontrolle der Rekrutierungswege eine höhere Repräsentativität des Samples.

Man zieht eine einfache Zufallsstichprobe („simple random sample“), indem man aus einer vollständigen Liste aller Objekte der finiten Zielpopulation (Auswahlrahmen, „sample frame“) nach einem „blinden“ statistischen Zufallsprinzip (z. B. mittels Zufallszahlen) eine Anzahl von Objekten auswählt, wobei die Auswahlwahrscheinlichkeiten aller Objekte gleich groß sein müssen.

Man zieht ein geschichtete bzw. stratifizierte Zufallsstichprobe („stratified random sample“), indem man die Zielpopulation auf der Basis eines Merkmals oder mehrerer Merkmale in Teilpopulationen (Schichten) einteilt – pro Merkmalsausprägung bzw. Merkmalskombination entsteht eine Teilpopulation – und aus jeder dieser Schichten eine einfache Zufallsstichprobe entnimmt. Ziel der geschichteten zufälligen Stichprobenauswahl ist es, gegenüber der einfachen Zufallsstichprobe im Rahmen populationsbeschreibender Studien die Genauigkeit von Parameterschätzungen zu erhöhen.

Man zieht eine mehrstufige Zufallsstichprobe („multistage random sample“), indem man zunächst eine Klumpenstichprobe mit großen Klumpen zieht (1. Ziehungsstufe). Diese Klumpen werden nicht vollständig untersucht, sondern nur in zufälligen Ausschnitten. Werden aus den Klumpen mittels einfacher Zufallsstichprobe die Untersuchungsobjekte gezogen (2. Ziehungsstufe), so liegt eine zweistufige Klumpen- bzw. Zufallsstichprobe vor („two stage cluster/random sample“). Zieht man auf der zweiten Stufe wieder eine Klumpenstichprobe, ergibt sich durch Ziehung einer Zufallsstichprobe aus diesen Klumpen eine 3. Ziehungsstufe und somit eine dreistufigeKlumpen- bzw. Zufallsstichprobe („three stage cluster/random sample“).

Für die Alltagsbeobachtung („everyday observation“) sind willkürliche Einzelbeobachtungen, die subjektiv interpretiert und bewertet werden, typisch (sog. anekdotische Evidenzen).

Bei der qualitativen Beobachtung („qualitative observation“) werden verbale, visuelle bzw. audiovisuelle Daten erhoben, die den jeweiligen Gegenstand der Beobachtung sehr detailreich repräsentieren. Besonders einschlägig sind verbale Daten in Form von Beobachtungsprotokollen. Qualitative Beobachtung erfolgt häufig als (aktiv oder passiv) teilnehmende Beobachtung („participant observation“) im Feld.

Die ethnografische Feldbeobachtung („ethnographic field observation“) ist eine nicht-strukturierte Beobachtung der sozialen Verhaltensweisen anderer Personen im natürlichen Umfeld, wobei kontextgebundene, komplexe Beobachtungseinheiten (z. B. Interaktionsmuster anstelle einzelner Verhaltensweisen) in den Blick genommen und von den Beobachtenden in eigenen Worten in Feldnotizen beschrieben werden. Kennzeichnend für die ethnografische Feldbeobachtung ist ein umfassendes Eintauchen der Forschenden in das zu beobachtende Feld, teilweise für längere Zeitperioden (teilnehmende Feldbeobachtung, „participant observation“, und oft in der Form der aktiven Teilnahme: „participant-as-observer“).

Bei der Autoethnografie („autoethnography“) handelt es sich um eine ethnografische Feldbeobachtung, bei der die Forschenden als vollständig Teilnehmende bzw. Insider („complete participant“, „member researcher“) im untersuchten Beobachtungsfeld agieren und der Fokus der Datenerhebung auf der Selbstbeobachtung und Selbstreflexion liegt. Per Autoethnografie werden vor allem menschliche Ausnahme- und Extremsituationen (z. B. Trennung oder Tod von Angehörigen, Krankheit und Sterben, außergewöhnliche Hobbys und Tätigkeiten) untersucht. In ihrem wissenschaftstheoretischen Verständnis und ihrer Vorgehensweise unterscheidet sich die evokative/emotionale Autoethnografie („evocative/emotional autoethnography“), die mit tradierten Kriterien der Wissenschaftlichkeit bricht und die Gültigkeit ihrer Befunde vor allem von emotionaler Nachvollziehbarkeit abhängig macht, von der analytischen Autoethnografie („analytical autoethnography“), die auf theoretische Analyse des Datenmaterials und intersubjektive Nachvollziehbarkeit setzt.

Bei der quantitativen Beobachtung mit geringem Komplexitätsgrad („quantitative observation with a lesser/lower degree of complexity“) werden einige wenige und einfache Aspekte des beobachteten Geschehens in ihrer Häufigkeit, Dauer und/oder Intensität gemessen, sodass numerische Beobachtungsdaten resultieren. Quantitative Beobachtungen mit geringem Komplexitätsgrad finden sowohl im Feld als auch im Labor statt. Sie basieren auf einem einfachen standardisierten Beobachtungsinstrument, das oft selbst konstruiert wird.

Nonreaktive Verfahren der Datenerhebung („nonreactive/nonintruding/unobstrusive measures“) umfassen allgemein alle Datenerhebungstechniken, bei denen das Verhalten und Erleben der Untersuchungsteilnehmenden nicht durch Interaktion mit den Forschenden beeinflusst werden kann. Die erhobenen Daten sind somit unverzerrt von möglichen Reaktionen der Untersuchten auf den Forschungsprozess selbst.

Unter einer wissenschaftlichen mündlichen Befragung bzw. einem wissenschaftlichen Interview („research interview“/„scientific interview“) verstehen wir die zielgerichtete, systematische und regelgeleitete Generierung und Erfassung von verbalen Äußerungen einer Befragungsperson (Einzelbefragung) oder mehrerer Befragungspersonen (Paar-, Gruppenbefragung) zu ausgewählten Aspekten ihres Wissens, Erlebens und Verhaltens in mündlicher Form. Interviews können im persönlichen Face-to-Face-Kontakt sowie telefonisch (fernmündlich), per Videokonferenz oder Online-Chat oder online (schriftliche Mündlichkeit) durchgeführt werden. Die dem Interview zugrunde liegenden verbalen Fragen werden den Befragungspersonen („interviewees“, „respondents“) in einer Interaktion jeweils von einer Interviewerin oder einem Interviewer („interviewer“) gestellt. Die Antworten werden dokumentiert und systematisch analysiert. Die vier zentralen Elemente der mündlichen Befragung sind a) die Befragungspersonen, b) die Interviewerin bzw. der Interviewer, c) die Interviewsituation und d) die Interviewfragen.

Dem nicht-strukturierten bzw. unstrukturierten Interview („unstructured interview“) liegt kein vorgefertigtes Interviewinstrument zugrunde und der Interviewverlauf wird auch nicht durch die Interviewenden in Form eines Wechselspiels von Fragen und Antworten geleitet. Stattdessen liefern Interviewende mit einer einzelnen biografischen Frage einen Erzählanstoß (narratives Interview), fordern zur Verbalisierung handlungsbegleitender Denkprozesse auf (Methode des lauten Denkens) oder stellen im Zuge einer ethnografischen Feldbeobachtung spontane Verständnisfragen zum Feldgeschehen (ethnografisches Feldinterview). Weil die Interviewsituation durch die Forschenden nicht aktiv vorstrukturiert wird, kommen Strukturierungen durch die Befragten zustande (z. B. anhand ihrer Relevanzstrukturen, subjektiven Theorien etc.).

Bei der Methode des lauten Denkens („think-aloud method“, „think-aloud protocol“ [TAP], „think-aloud test“) werden Untersuchungsteilnehmende aufgefordert, all ihre Gedanken in Worte zu fassen, die während einer bestimmten Aktivität (z. B. einen Text übersetzen, eine Entscheidung treffen, ein Computerprogramm nutzen) auftreten. Die interessierende Aktivität zusammen mit dem lauten Denken wird in der Regel per Video aufgezeichnet und anschließend verschriftet.

Dem teilstrukturierten bzw. halbstrukturierten Interview („semi-structured interview“) liegt ein Interview-Leitfaden („interview guide“) als Liste offener Fragen (d. h. Fragen ohne festgelegte Antwortmöglichkeiten) zugrunde. Der Interview-Leitfaden bietet ein Grundgerüst, das für eine Vergleichbarkeit der Interviews sorgt. Er kann flexibel an die jeweilige Interviewsituation angepasst werden. Das halbstrukturierte Interview wird synonym auch als Leitfaden-Interview bezeichnet.

Der Interview-Leitfaden („interview guide“) ist ein oft als „halbstandardisiert“ bezeichnetes Instrument der Datenerhebung, weil zwar im Vorfeld ein Fragenkatalog festgelegt wird, aber keinerlei Antwortvorgaben existieren. Zudem kann und soll der Leitfaden flexibel der Interviewsituation angepasst werden (z. B. hinsichtlich Wortwahl, Reihenfolge der Fragen, Zusatzfragen). Die „Standardisierung“ des Leitfadens besteht also nicht in exakt vorgegebenen Fragenformulierungen, sondern in der inhaltlichen Vergleichbarkeit des Fragenkatalogs.

Das Online-Leitfaden-Interview („semi-structured online interview“, „semi-structured Internet interview“) ist eine medienvermittelte Variante des Leitfaden-Interviews. Hierbei findet der Interviewkontakt computervermittelt entweder zeitversetzt (z. B. E-Mail-Interview) oder zeitgleich (z. B. Chat-Interview, Webcam-Interview) statt. Es wird typischerweise dialogisch eine Frage gestellt, die Antwort abgewartet und dann die nächste Frage gestellt. Im Unterschied zum selbstadministrierten Online-Fragebogen kann bei einem Online-Leitfaden-Interview individuell auf die Antworten der Befragten eingegangen werden.

Das fokussierte Interview („focussed interview“, „focused interview“) ist eine Variante des Leitfaden-Interviews, bei der ein bestimmtes Anschauungsobjekt im Mittelpunkt steht bzw. es darum geht, die Reaktionen der Interviewten auf das fokussierte Objekt im Detail qualitativ zu ermitteln. Das fokussierte Objekt ist oft eine mediale Darstellung (z. B. Film, Fernseh- oder Radiosendung, Werbeanzeige) und wird zu Beginn oder im Verlauf des Interviews präsentiert. Ein fokussiertes Interview kann als Einzelinterview („individual focused interview“) oder als Gruppeninterview („focused group interview“) durchgeführt werden.

Eine Fokusgruppen-Diskussion („focus group interview“, „focus group discussion“) ist eine halbstrukturierte Gruppendiskussion zu einem konkreten Thema oder Produkt, das als Diskussionseinstieg präsentiert wird (Grundreiz). Die Teilnehmerzahl pro Gruppe liegt in der Regel bei 4–8 Personen. Pro Studie werden meist rund 4–8 Fokusgruppen mit einer Länge von jeweils 90–120 Minuten im Forschungslabor durchgeführt. Es wird einerseits eine Selbstläufigkeit der Gruppendiskussion angestrebt, gleichzeitig sorgt eine Moderatorin bzw. ein Moderator („moderator“, „facilitator“) dafür, dass die Gruppe beim Thema bleibt und vorher festgelegte Leitfragen (Diskussionsleitfaden) bearbeitet werden.

Unter der wissenschaftlichen Fragebogenmethode („questionnaire method“) verstehen wir die zielgerichtete, systematische und regelgeleitete Generierung und Erfassung von verbalen und numerischen Selbstauskünften von Befragungspersonen zu ausgewählten Aspekten ihres Erlebens und Verhaltens in schriftlicher Form. Als Erhebungsinstrument fungiert ein wissenschaftlicher Fragebogen („research questionnaire“, „scientific questionnaire“), der von den Befragungspersonen eigenständig bzw. selbstadministriert ausgefüllt wird („self-administered questionnaire“). Der Fragebogen kann in einer Face-to-Face-Situation, postalisch, per Internet oder mobilem Endgerät zur Verfügung gestellt werden. Die Antworten werden dokumentiert und systematisch analysiert. Die drei zentralen Elemente der schriftlichen Befragung sind a) die Befragungspersonen, b) der Fragebogen sowie c) die Situation, in der der Fragebogen beantwortet wird.

Bei der nicht-strukturierten bzw. unstrukturierten schriftlichen Befragung wird ein nicht-standardisierter Fragebogen („nonstandardized questionnaire“) genutzt. In diesem werden die Befragungspersonen mittels einer einzelnen Frage oder Aufgabe zu einem bestimmten Thema um ausführliche schriftliche Beschreibungen, Erklärungen oder Erzählungen in Aufsatzform gebeten.

Der vollstrukturierten schriftlichen Befragung liegt ein quantitativer bzw. (voll)standardisierter Fragebogen („quantitative questionnaire“, „standardized questionnaire“) zugrunde. Er besteht überwiegend aus geschlossenen Fragen bzw. Aussagen mit Antwortvorgaben, sodass die Befragten die jeweils passenden Antwortalternativen auswählen können.

Bei einer postalischen Befragung („postal survey“) wird ein Paper-Pencil-Fragebogen (oder ein auf einem Datenträger gespeicherter elektronischer Fragebogen) per Post verbreitet und auch auf dem Postweg wieder eingesammelt (beiliegender frankierter Rückumschlag).

Bei einer mobilen Befragung („mobile survey“) wird ein elektronischer Fragebogen über drahtlose Netzwerke bzw. Mobilfunknetze und mobile (portable) Endgeräte verbreitet. Die gewählten Antworten werden auf einem Befragungsserver gespeichert und stehen als digitale Datensätze zur Verfügung. Mobile Fragebögen müssen für die angezielten Endgeräte und Umfragesituationen (z. B. das Ausfüllen unterwegs in Nischenzeiten oder im Freien) gestaltet werden und unterscheiden sich somit von herkömmlichen Online-Fragebögen.

Die vollstrukturierte Tagebuchmethode („diary method“) ist eine genuin sozialwissenschaftliche Befragungsmethode. Das Tagebuch besteht aus einer chronologisch geordneten Serie vollstandardisierter Fragebogenformulare, die von den Befragten fortlaufend (mindestens einmal pro Tag) über längere Zeitperioden (mehrere Tage bis Wochen) hinweg ausgefüllt werden. Ziel ist es, möglichst unverzerrte und detaillierte Angaben über alltägliche Erlebens- und Verhaltensweisen zu erhalten, was jedoch mit großem Aufwand für die Befragten verbunden ist.

Die Delphi-Methode („Delphi technique“, „Delphi poll“, „Delphi survey“) ist eine nach dem berühmten griechischen Orakel benannte spezielle Form der vollstrukturierten schriftlichen Befragung, die auf die Suche nach Problemlösungen und die Prognose zukünftiger Entwicklungen abzielt. Kennzeichnend für die Delphi-Methode ist, dass eine Gruppe von Expert:innen („Delphi panel“) in mehreren (mindestens zwei) Runden befragt und ihnen dabei ab Runde zwei jeweils die aggregierten Antworten der Mitexperten zugänglich gemacht werden. Die Befragten können somit ihre eigenen Antworten im Kontext der Antworten des gesamten Delphi-Panels reflektieren und ggf. modifizieren und somit im Idealfall zu besseren Einschätzungen gelangen.

Grundlage psychologischer Tests sind immer sowohl inhaltsbezogene Theorien (Theorien über das zu erfassende Konstrukt; z. B. Theorie der Intelligenz für einen Intelligenztest) als auch methodenbezogene Theorien (sog. Testtheorien, die Aussagen über Aufbau und Eigenschaften von psychologischen Tests und Testaufgaben treffen; z. B. sog. Klassische oder Probabilistische Testtheorie) sowie empirische Belege, die diese Theorien stützen.

Kennzeichnend für einen psychometrischen Test – im Unterschied zum standardisierten Forschungsfragebogen – ist insbesondere seine Normierung bzw. Eichung („standardization“), d. h. die Bereitstellung von Normwerten (Testergebnisse repräsentativer Bevölkerungsgruppen). Erst durch die Normierung sind Testwerte nicht nur für wissenschaftliche Aussagen auf Aggregatebene, sondern auch für die Beurteilung von Einzelpersonen im Rahmen der psychologischen Diagnostik („psychological assessment“) nutzbar.

Man unterscheidet nicht- oder teilstrukturierte projektive Tests („projective tests“) mit offenen Aufgaben (z. B. eine Zeichnung erstellen, ein Bild interpretieren) von vollstrukturierten psychometrischen Tests („psychometric tests“), die aus einer Batterie vollstandardisierter Test-Items (z. B. Rechen- oder Logik-Aufgaben mit genau einer korrekten Lösung; Selbstauskunftsfragen mit Ratingskalen als Antwortformat) bestehen. In Forschung und Praxis dominieren die psychometrischen Tests.

Soziale Erwünschtheit („social desirability“) meint die Tendenz, Selbstauskunftsfragen – sei es in Interviews, Fragebögen oder Persönlichkeitstests – in der Weise zu beantworten, dass die eigenen Aussagen weniger dem realen Erleben und Verhalten und dafür stärker sozialen Normen und Erwartungen entsprechen. Dies geschieht etwa, indem normverletzende Verhaltensweisen (z. B. Drogenkonsum) heruntergespielt („underreporting“) und sozial konforme Verhaltensweisen (z. B. Hilfsbereitschaft) übertrieben werden („overreporting“).

Leistungs- bzw. Fähigkeitstests („achievement tests“) sind vollstrukturierte psychologische Testverfahren, mit denen Leistungsmerkmale (Ausprägungen von Fähigkeiten und Fertigkeiten) gemessen werden. Diese Tests zeichnen sich dadurch aus, dass Testaufgaben zu bearbeiten sind, für die es objektiv richtige und falsche Lösungen gibt und mittels derer die Testpersonen ihre maximalen Fähigkeiten unter Beweis stellen sollen. Als Leistungsindikatoren werden z. B. Lösungsmenge (Anzahl richtiger Lösungen) und Lösungsgüte (Qualität der Lösungen) herangezogen. Leistungstests werden meist unter Zeitdruck durchgeführt (Speed-Test) und/oder arbeiten mit sukzessiver Steigerung der Aufgabenschwierigkeit (Power-Test).

Die Klassische Testtheorie (KTT; „classical test theory“, auch: „true score theory“, TST) nimmt an, dass das Testergebnis direkt dem wahren Ausprägungsgrad des untersuchten Merkmals entspricht, dass aber jede Messung oder jedes Testergebnis zusätzlich von einem Messfehler überlagert ist.

Bei einem reflektiven Messmodell greift man zur Erfassung des latenten Merkmals auf Indikatoren zurück, die durch das latente Merkmal verursacht werden. Diese reflektiven Indikatoren („reflective indicators“, „effect indicators“) sind einander in der Regel sehr ähnlich.

Die Reliabilität (Messgenauigkeit, Präzision, „reliability“) eines Tests kennzeichnet den Grad der Genauigkeit bzw. Messfehlerfreiheit, mit dem das geprüfte Merkmal gemessen wird. Ein reliabler psychologischer Test liefert Messwerte, die wenig von Messfehlern belastet sind.

Der Multitrait-Multimethod-Ansatz (MTMM-Ansatz; „multitrait multimethod approach“) überprüft systematisch, mit welcher Übereinstimmung verschiedene Methoden dasselbe Konstrukt erfassen (konvergente Validität) und wie gut verschiedene Konstrukte durch eine Methode differenziert werden (diskriminante Validität). Der MTMM-Ansatz spielt für die Konstruktvalidierung von Tests eine zentrale Rolle. Zu unterscheiden sind die korrelationsbasierte MTMM-Analyse (mittels bivariater Korrelationskoeffizienten) und die konfirmatorische MTMM-Analyse (mittels Strukturgleichungsmodellen).

Die Schwierigkeit eines Items („item difficulty“) wird durch einen Schwierigkeitsindex ausgedrückt. Ein Item ist umso schwieriger, je geringer seine Zustimmungs- bzw. Lösungsrate in der betrachteten Stichprobe ausfällt. Umgekehrt wird ein leichtes Item von fast allen Testpersonen in Schlüsselrichtung beantwortet bzw. korrekt gelöst. Bei nominalskalierten Items wird der Schwierigkeitsindex über den Prozentsatz der Zustimmer/Richtiglöser berechnet. Bei intervallskalierten Items entspricht der Schwierigkeitsindex dem Item-Mittelwert, der wiederum in einen Prozentwert umgerechnet werden kann.

Die Dimensionalität eines Tests („test dimensionality“) gibt an, ob er mit seinen verschiedenen Test-Items nur ein globales Konstrukt erfasst (eindimensionaler Test), oder ob er mehrere Teilkonstrukte operationalisiert (mehrdimensionaler Test mit zwei oder mehr Untertest). Im Zuge der Dimensionalitäts-Überprüfung wird mit Korrelationsanalysen bzw. vor allem mit exploratorischen oder konfirmatorischen Faktorenanalysen geprüft, ob a) die Anzahl der Dimensionen sowie b) bei mehrdimensionalen Tests auch die Zuordnung der Items zu den verschiedenen Subtests („item dimensionality“) den inhaltlichen Vorgaben der Konzeptspezifikation entspricht.

Die physiologischen Messungen („physiological measurements“) dienen der objektiven Erfassung und Quantifizierung bestimmter Merkmale physiologischer Prozesse in unterschiedlichen Organsystemen des Körpers mittels entsprechender Messgeräte. Die erhobenen Merkmale (z.B. Herzschlagfrequenz) werden als physiologische Indikatoren („physiological indicator“) oder Biosignale („bio signal“) bezeichnet. Meist werden mehrere Biosignale integriert erfasst und ausgewertet (z. B. Hirnaktivität und Blickbewegungen).

Die objektiven Messmethoden („objective measurement methods/techniques“) sind Messverfahren, die nicht auf Selbstauskünften der Untersuchungsobjekte basieren, sondern bei denen die Daten durch Außenstehende oder Apparaturen erfasst werden. Zu den objektiven Messmethoden zählen neben der Fremdbeobachtung und einigen psychologischen Testverfahren vor allem die physiologischen Messungen. Der Hauptvorteil der physiologischen Messung als objektiver Messmethode liegt darin, dass subjektive Verzerrungen durch die Untersuchungsteilnehmenden, wie sie bei Selbstauskunftsdaten vorkommen, weitgehend ausgeschlossen werden können. Ihr Hauptnachteil – neben dem meist hohen untersuchungstechnischen Aufwand – besteht darin, dass von objektiven physiologischen Messdaten kein direkter Rückschluss auf menschliches Erleben und Handeln möglich ist – dazu werden zusätzliche Selbstauskunftsdaten benötigt.

Das Elektroenzephalogramm („electroencephalogram“, EEG) ist das Ergebnis einer Elektroenzephalografie und besteht in einer grafischen Darstellung der Potenzialschwankungen (in Mikrovolt) im Zeitverlauf. Als „das EEG“ wird üblicherweise nicht nur das Elektroenzephalogramm, sondern auch die Methode der Elektroenzephalografie (eigentlich „die EEG“) bezeichnet.

Die Elektrokardiografie (EKG; „electrocardiography“, ECG) ist ein physiologisches Messverfahren, das u. a. zur Erfassung der Herzschlagfrequenz dient. Mittels Elektroden auf dem Oberkörper werden die elektrischen Spannungen abgeleitet, die durch die Herzmuskulatur erzeugt werden. Das Ergebnis der Elekrokardiografie ist das Elektrokardiogramm (EKG) als grafische Darstellung der Potenzialschwankungen (in Mikrovolt) über die Zeit hinweg. Als „das EKG“ wird üblicherweise nicht nur das Elektrokardiogramm, sondern auch dieMethode der Elektrokardiografie (eigentlich „die EKG“) bezeichnet.

Bei der Blutdruckmessung („blood pressure measurement“) wird der Blutdruck entweder direkt – d. h. invasiv mit Kanüle und Manometer – oder indirekt mit einem nicht-invasiven Manschettendruckverfahren erfasst. Blutdruckwerte können grafisch als Blutdruckkurve dargestellt werden, indem sie kontinuierlich oder in zeitlichen Abständen abgetragen werden.

Die Elektromyografie („electromyography“, EMG) ist ein Messverfahren zur Erhebung der elektrischen Muskelaktivität. Sie kann invasiv mit Nadelelektroden oder nicht-invasiv mittels Oberflächenelektroden durchgeführt werden, die die Aktivationspotenziale der Muskelzellen ableiten. Als Ergebnis der Elektromyografie werden die Potenzialschwankungen an den Muskelzellen (in Mikrovolt) über die Zeit hinweg grafisch in einem Elektromyogramm (EMG) dargestellt. Als „das EMG“ wird üblicherweise nicht nur das Elektromyogramm, sondern auch die Methode der Elektromyografie (eigentlich „die EMG“) bezeichnet.

Das Eye-Tracking („eye tracking“, Blickbewegungsmessung) ist ein Messverfahren zur Erfassung von Blickbewegungen, das mittels hochauflösender Kameras Stellung und Bewegung der Augen registriert. Entsprechende Blickbewegungskameras werden entweder in Brillen integriert oder an einemMonitor oder Display angebracht, auf dem das Stimulusmaterial präsentiert wird. Im Ergebnis kann der Blickbewegungsverlauf auf dem Stimulusmaterial statisch als Grafik oder dynamisch als Video visualisiert werden. Zudem können diejenigen Bereiche des Stimulusmaterials, die besonders häufig fixiert wurden, in einer grafischen Darstellung ähnlich einem Wärmebild (sog. „heat maps“) farblich markiert werden.

Unter einer wissenschaftlichen Dokumentenanalyse („scientific document analysis“) als Datenerhebungsmethode verstehen wir die zielgerichtete, systematische und regelgeleitete Sammlung und Archivierung von vorhandenen (d. h. unabhängig vom Forschungsprozess produzierten) Dokumenten als Manifestationen menschlichen Erlebens und Verhaltens. Dabei kann es sich inhaltlich um persönliche oder offizielle Dokumente sowie formal um textuelle/verbal-schriftliche sowie um nicht-textuelle (visuelle, auditive, audiovisuelle, multimediale, hypermediale etc.) Dokumente handeln. An die Sammlung, Archivierung und Aufbereitung des Rohdatenmaterials schließt sich eine Auswertung der Dokumente hinsichtlich ihrer inhaltlichen und formalen Merkmale an. Bei der qualitativen Dokumentenanalyse stellt die interpretative Auswertung der Dokumente bereits die eigentliche qualitative Datenanalyse dar. Bei der quantitativen Dokumentenanalyse wird das qualitative Ausgangsmaterial mittels quantitativer Inhaltsanalyse in Messwerte überführt, die anschließend einer üblichen quantitativ-statistischen Datenanalyse unterzogen werden.

Die qualitative Inhaltsanalyse („qualitative content analysis“) arbeitet vor allem datengesteuert-induktiv – aber teilweise auch theoriebasiert-deduktiv – durch Kodierung die zentralen manifesten und latenten Bedeutungen von Dokumenten heraus. Sie lässt sich auf sämtliche Arten von vorgefundenen (sowie auch forschungsgenierten) Dokumenten anwenden. Sollen Dokumente im Sinne eines Mixed-Methods-Designs untersucht werden, so ist eine Kombination von qualitativer und quantitativer Inhaltsanalyse üblich.

Die Grounded-Theory-Methodologie („grounded theory methodology“, GTM) ist eine qualitative Forschungsstrategie, die auf theoretischer Stichprobenziehung („theoretical sampling“), der Kodiermethode des permanenten Vergleichs („constant comparison coding/analysis“) sowie dem systematischen Verfassen von Memos basiert („memoing, memowriting“). Im Ergebnis läuft die Methode auf eine gegenstandsverankerte Theorie („grounded theory“) hinaus. Die Kodierung gemäß GTM kann auf vorgefundene ebenso wie auf forschungsgenerierte Dokumente angewendet werden, wobei der gesamte Forschungsprozess an der Grounded-Theory-Methodologie auszurichten ist. Im Unterschied zur qualitativen Inhaltsanalyse und zur Interpretativen Phänomenologischen Analyse, deren Kategorien eher zusammenfassend-deskriptiven Charakter haben, werden mit der Kodiermethode des permanenten Vergleichs im Rahmen der GTM Kategorien gebildet, die einen erklärenden Charakter aufweisen. Die Kodiermethode des permanenten Vergleichs beinhaltet dabei das offene Kodieren, das axiale Kodieren und das selektive Kodieren.

Die quantitative Inhaltsanalyse („quantitative content analysis“) erfasst deduktiv anhand eines vollstandardisierten Kategoriensystems die Ausprägungen unterschiedlicher formaler und inhaltlicher Merkmale von Dokumenten. Die Merkmalsausprägungen der Dokumente werden dabei quantifiziert, wobei je nach Definition der einzelnen Kategorien Messwerte auf allen vier Skalenniveaus generiert werden. Die per Inhaltsanalyse gewonnenen Messwerte werden anschließend statistisch ausgewertet.

Die quantitative Online-Inhaltsanalyse („quantitative online content analysis“) erfasst anhand eines vollstandardisierten Kategoriensystems die Ausprägungen unterschiedlicher formaler und inhaltlicher Merkmale von Online-Dokumenten. Dabei ist die inhaltsanalytische Vorgehensweise den Besonderheiten der Online-Dokumente anzupassen; dies betrifft z. B. die Festlegung der Analyse- und Kodiereinheiten, die Stichprobenziehung, die Archivierung des Materials, die Medienspezifik der betrachteten formalen und inhaltlichen Kategorien und nicht zuletzt die Darstellung von Materialbeispielen in Publikationen.

Zur Datenaufbereitung („data preparation“) gehören all jene begründeten und dokumentierten Bearbeitungen bzw. Veränderungen des Rohdatenmaterials, welche die Aussagekraft und (Wieder-)Verwendbarkeit der Daten steigern und die inhaltliche Datenanalyse vorbereiten. Dazu zählen v. a. die Erstellung strukturierter Datensätze aus dem Rohdatenmaterial, die Kommentierung und die Anonymisierung der Datensätze sowie Datenbereinigung und Datentransformation. Ziel der Datenaufbereitung ist eine Steigerung der Datenqualität.

Im Rahmen der quantitativen Datenanalyse („quantitative data analysis“) wird numerisches Datenmaterial im Hinblick auf das Forschungsproblem einer empirischen Studie statistisch ausgewertet. Die dabei eingesetzten statistischen Verfahren gliedern sich in zwei große Felder: Die Deskriptivstatistik („descriptive statistics“, beschreibende Statistik) fasst die Stichprobendaten anhand von Stichprobenkennwerten (z. B. Mittelwerte, Prozentwerte etc.) zusammen und stellt diese bei Bedarf in Tabellen und Grafiken anschaulich dar. Die Inferenzstatistik („inferential statistics“, schließende Statistik) schließt anhand von Stichprobendaten auf Populationsverhältnisse. Dabei wird zum einen die Ausprägung einzelner Variablen in der Population geschätzt (Methoden der statistischen Parameterschätzung) und zum anderen werden Hypothesen zu Relationen zwischen Variablen in der Population geprüft (Methoden der statistischen Hypothesenprüfung).

Ein Zufallsexperiment („experiment“) meint im Kontext derWahrscheinlichkeitstheorie einen Versuch, dessen Ablauf bekannt ist und der mehr als ein Ergebnis hervorbringen kann (die möglichen Ergebnisse müssen bekannt sein), wobei aber bei jedem Versuchsdurchgang das konkrete Ergebnis vorab unbekannt ist. Beispiele für Zufallsexperimente sind das Würfeln (vorab ist nicht bekannt, welche der sechs Augenzahlen erwürfelt wird) oder die Befragung (vorab ist bei einer zufällig ausgewählten Person, die man nach ihrer Depressivität fragt, nicht bekannt, welche Depressionsausprägung sie hat).

Die Güte eines Punktschätzers (d. h. der Schätzmethode) wird v. a. über fünf Kriterien definiert: 1. Erwartungstreue (Unverzerrtheit, Unverfälschtheit, „mean-unbiasedness“): Ein erwartungstreuer Schätzer entspricht im Mittel dem Populationsparameter. 2. Konsistenz („consistency“, „asymptotic consistency“): Ein konsistenter Schätzer wird mit wachsendem Stichprobenumfang genauer, d. h., er ist erwartungstreu und seine Varianz sinkt mit wachsendem Stichprobenumfang. 3. Effizienz („efficiency“): Ein effizienter Schätzer ist genauer (d. h. weist eine geringere Varianz auf) als alternative erwartungstreue Schätzer. 4. Suffizienz („sufficiency“): Ein suffizienter/erschöpfender Schätzer berücksichtigt alle relevanten Informationen in der Stichprobe. 5. Robustheit („robustness“): Ein robuster Schätzer ist gegenüber Ausreißern bzw. Extremwerten in der Stichprobe unempfindlich.

Zwischen dem Konfidenzintervall und dem klassischen Signifikanztest besteht insofern eine Parallele, als ein Konfidenzintervall, das nicht die Null umschließt, gleichzeitig auch impliziert, dass der bestreffende Parameter statistisch signifikant ist (Ablehnung des H0-Modells; Abschn. 12.5.1).

Das zentrale Grenzwerttheorem (zentraler Grenzwertsatz; „central limit theorem) besagt, dass die Verteilung von Mittelwerten aus Stichproben des Umfanges n, die einer beliebig verteilten Grundgesamtheit entnommen werden, einer Normalverteilung entspricht – vorausgesetzt, n ist genügend groß (mindestens n größer/gleich 30).

Die z-Transformation („z transformation“) überführt jede beliebige Verteilung in eine entsprechendeVerteilung mit dem Mittelwert Mü = 0 und der Streuung Sigma = 1. Die Anwendung der z-Transformation auf eine Normalverteilung führt zu einer Normalverteilung mit dem Mittelwert von Mü = 0 und der Streuung von Sigma = 1. Diese z-transformierte Normalverteilung wird als Standardnormalverteilung bezeichnet.

Im Kontext des statistischen Nullhypothesen-Signifikanztests wird zu jeder Alternativhypothese (H1, „alternative hypothesis“), die theoriebasiert die Existenz (oft auch die Richtung und zuweilen sogar die Größe) eines Populationseffekts postuliert, eine Nullhypothese (H0, „null hypothesis“) aufgestellt, die den betreffenden Effekt negiert. H1 und H0 bilden zusammen ein Hypothesenpaar, das alle möglichen Ausprägungen des betrachteten Effekts beinhaltet.

Gerichtete Hypothesen werden durch einen einseitigen Signifikanztest geprüft, indem zunächst die Richtung des Effekts betrachtet und dann die einseitige Irrtumswahrscheinlichkeit (Fläche des H0-Modells, die vom empirischen Wert auf einer Seite der Prüfverteilung abgeschnitten wird) mit dem Signifikanzniveau von 5 % verglichen wird. Alternativ wird beim Rechnen per Hand (z. B. in Klausuren) für die Signifikanzentscheidung der empirische Wert mit dem kritischen Wert für Alpha = 5 % verglichen, der auf der einen Seite des H0-Modells die Grenze des einseitigen Ablehnungsbereichs für die H0 bildet.

Um zu vermeiden, dass eine Studie uneindeutige statistische Ergebnisse produziert, sollte bei der Untersuchungsplanung der optimale Stichprobenumfang veranschlagt werden. Es handelt sich dabei um den Stichprobenumfang, der mindestens notwendig ist, um einen Effekt bestimmter Größe mit einer Teststärke von mindestens 80 % aufdecken zu können.

Die Partialkorrelation bestimmt über einen Partialkorrelationskoeffizienten („partial correlation coeffizient“) die Enge und Richtung des Zusammenhang zwischen zwei Merkmalen, wobei der Einfluss von einer oder mehreren Drittvariablen kontrolliert (herauspartialisiert) wird.

Der multiple Korrelationskoeffizient R („multiple correlation coefficient“) quantifiziert die Enge (nicht jedoch die Richtung) des Gesamtzusammenhangs zwischen dem Prädiktorvariablensatz und dem Kriterium. Er wird auf Signifikanz geprüft.

Eine kanonische Zusammenhangshypothese behauptet, dass zwischen mehreren Prädiktorvariablen einerseits und mehreren Kriteriumsvariablen andererseits ein systematischer Zusammenhang besteht. Sie wird mit der kanonischen Korrelationsanalyse überprüft. Dabei werden die Prädiktoren sowie die Kriterien jeweils zu Faktoren gebündelt (pro Prädiktor- und Kriteriumsvariablensatz entspricht die Zahl der gebildeten Faktoren jeweils der Zahl der Variablen).

Die Faktorenanalyse bündelt die Variablen gemäß ihrer Interkorrelationen zu Faktoren. Man unterscheidet explorative Faktorenanalysen („exploratory factor analysis“, EFA), die ohne Vorannahmen durchgeführt werden und keine Signifikanzprüfung enthalten, von konfirmatorischen Faktorenanalysen („confirmatory factor analysis“, CFA), bei denen ein Faktorladungsmuster als Hypothese vorgegeben und inferenzstatistisch geprüft wird.

Wir sprechen von einer Interaktion zweiter Ordnung (A x B x C-Interaktion, Tripel-Interaktion, „second order interaction“), wenn die Art der Interaktion zwischen zwei Faktoren (Interaktion erster Ordnung, z. B. A x B) von den Stufen eines dritten Faktors (z. B. Faktor C) abhängt.

Wenn bei wiederholter Untersuchung derselben Untersuchungspersonen Transfer-Effekte drohen, sollte ein randomisierter Blockplan („randomized block plan“) eingesetzt werden. Die k-fache Messung einer Untersuchungsperson wird hierbei durch Einzelmessungen von k Untersuchungspersonen ersetzt, wobei die k Untersuchungspersonen eines Blocks nach Ähnlichkeit auszuwählen sind (“Matched Samples“) und zufällig den k Messzeitpunkten zugeordnet werden. Die Blöcke werden zufällig der Experimental- bzw. Kontrollbedingung zugeordnet.

Der Solomon-Viergruppenplan („Solomon four group design“) stellt eine Erweiterung des klassischen experimentellen Pretest-Posttest-Designs dar (zweifaktorieller Plan mit Treatment-Faktor und Messwiederholungsfaktor). Er dient dazu, die mögliche Wirkung von Pretest-Effekten zu überprüfen.

Eine Zeitreihe („time series“) ist ein Datensatz, der dadurch entsteht, dass dieselbe Variable bei derselben Person bzw. Untersuchungseinheit (Einzelfalluntersuchung) oder bei denselben Personen bzw. Untersuchungseinheiten (Stichprobenuntersuchung oder Vollerhebung) immer wieder im gleichen Abstand erhoben wird.

Bei einer Einzelfalluntersuchung mit dichotomer abhängiger Variable lässt sich die Alternativhypothese, dass der Wechsel zwischen dem Auftreten beider Merkmalsausprägungen nicht zufällig, sondern systematisch erfolgt, mit dem Iterationshäufigkeitstest prüfen, wobei entweder der exakte Iterationshäufigkeitstest oder – bei größeren Messwertreihen (n1 und n2 > 30) – der asymptotische Iterationshäufigkeitstest (über die Normalverteilung) zu nutzen sind.

Die Teststärke („power“) hat das Symbol 1 - Beta und ist definiert als die Wahrscheinlichkeit, mit der ein Signifikanztest einen in der Population vorhandenen „wahren“ Effekt bestimmter Größe durch ein statistisch signifikantes Ergebnis tatsächlich aufdeckt. Bei hoher Teststärke weist ein Signifikanztest eine hohe Sensitivität auf, kann also auch kleine Populationseffekte mit großer Sicherheit aufdecken. Konventionell wird in Anlehnung an Cohen (1988) eine Teststärke von mindestens 80 % gefordert. Das heißt umgekehrt, es wird eine Beta-Fehlerwahrscheinlichkeit (Wahrscheinlichkeit, die H0 fälschlich anzunehmen bzw. die H1 fälschlich zu verwerfen) von maximal 20 % akzeptiert. Man beachte, dass die Konventionen für das Alpha-Fehler-Niveau (.05), das Beta-Fehler-Niveau (.20) sowie die Teststärke (.80) nicht mechanisch anzuwenden, sondern inhaltlich begründet festzulegen sind. Wenn also z. B. inhaltlich ein Alpha-Fehler nicht 4-mal gravierender ist als ein “-Fehler, sollten Alpha- und Beta-Fehler-Niveau entsprechend ausgewogen festgelegt werden (Abschn. 12.5.1).

Die Effektstärke bzw. Effektgröße („effect size“, ES) ist definiert als die Größe des im Zuge einer Hypothesenprüfung interessierenden Populationsparameters. Bei dem interessierenden Populationsparameter kann es sich z. B. um einen Prozentwert oder eine Prozentwertdifferenz, einen Mittelwert oder eine Mittelwertdifferenz, einen bivariaten oder multivariaten Korrelations- oder Regressionskoeffizienten oder eine Korrelationsdifferenz handeln. Die Populations-Effektgröße ist in der Regel unbekannt und wird auf der Basis der Stichproben-Effektgröße geschätzt, sei es als Punktschätzung oder als Intervallschätzung mit einem Konfidenzintervall.

Standardisierte bzw. relative Effektgrößenmaße („standardized effect size measures“) sind durch Relativierung an der Merkmalsstreuung unabhängig von der Messeinheit und vom Stichprobenumfang. Standardisierte Effektgrößenmaße sind notwendig bei nominal-, ordinal- oder intervallskalierten Variablen, die keinen natürlichen Nullpunkt haben (z. B. Ratingskala). Sie erlauben a) eine direkte Vergleichbarkeit verschiedener Studien zum selben Phänomen (auch wenn zur Operationalisierung verschiedene Messeinheiten verwendet werden), b) eine Verrechnung der Effekte vergleichbarer Studien zu einem standardisierten Gesamteffekt im Rahmen der Metaanalyse (Kap. 16) und c) die Einstufung der inhaltlichen Bedeutsamkeit des Effektes. Es existieren verschiedene standardisierte Effektgrößenmaße für unterschiedliche Effekte bzw. unterschiedliche Signifikanztests (Abschn. 14.2.3). Man beachte, dass die Standardisierung stets anhand der Streuung der Werte erfolgt und somit relativ zur Unterschiedlichkeit der erhobenen Werte zu betrachten ist, welche wiederum von der Stichprobenzusammensetzung sowie den Untersuchungsbedingungen – etwa der Dosierung der unabhängigen Variablen – abhängt (Abschn. 14.3.1).

Minimum-Effektgrößen-Tests („minimum effect tests“, „minimal effects test“, „effect test“) sind statistische Signifikanztests, die nicht mit einer Nil-Nullypothese (Punkthypothese), sondern mit einer Minimum-Effekt-Nullhypothese (Intervallhypothese) arbeiten.

Eine Minimum-Effekt-Nullhypothese („minimum effect null hypotheses“) postuliert im Sinne des Good-Enough-Prinzips als Bereichshypothese einen Bereich vernachlässigbar kleiner Populationseffekte.

Eine Wunsch-Nullhypothese liegt vor, wenn man theoriebasiert mithilfe einer empirischen Studie belegen möchte, dass hinsichtlich der betrachteten Variablen kein Effekt (kein Unterschied, kein Zusammenhang, keine Veränderung) in der Population vorliegt.

Bei der Metaanalyse wird aus den Effektgrößenmaßen der einzelnen Primärstudien ein gewichteter Mittelwert berechnet, der den Gesamteffekt in der Population schätzt. Im Zuge der Metaanalyse kann überprüft werden, ob ein fraglicher Effekt in der Population vorliegt (Signifikanztest für den Gesamteffekt) und wie groß er ist (Effektgrößenschätzung des Gesamteffekts als Punkt- und/oder Intervallschätzung). Häufig werden dieWirksamkeit einer Maßnahme oder die Auswirkung einer Verhaltensweise mittels Metaanalyse untersucht.

Das Effektmodell der Metaanalyse gibt vor, wie die Gewichtungsfaktoren für die Ergebnisse der einzelnen Primärstudien-Effekte zu bestimmen sind, auf deren Basis der Gesamteffekt als gewichteter Mittelwert berechnet wird. Man unterscheidet Fixed-Effect-, Random-Effects- und Mixed-Effects-Modelle der Metaanalyse.

Das Random-Effects-Modell (Modell zufallsbedingter Effekte) geht davon aus, dass die Primärstudien im Studienpool unterschiedliche Populationseffekte abbilden, dass also Differenzen nicht nur auf Stichprobenfehler, sondern auch auf inhaltliche Unterschiede der Studien zurückzuführen sind. In die Gewichtungsfaktoren geht neben dem Stichprobenumfang auch die Abweichung des Ergebnisses einer Primärstudie von den anderen Untersuchungen im Studienpool ein.

Das Delta-Maß ist ein universelles Effektgrößenmaß, das als Korrelationsäquivalent der bivariaten Produkt-Moment-Korrelation r entspricht. Es dient dazu, unterschiedliche standardisierte Effektgrößenmaße vergleichbar und aggregierbar zu machen. Praktisch jede testspezifische Effektgröße lässt sich in einen Delta-Wert transformieren.

Eine Maximum-Likelihood-(ML-)Schätzung in Strukturgleichungsmodellen erfolgt so, dass bei Gültigkeit der – von den Parametern abhängigen – modelltheoretischen Kovarianzmatrix in der Population die Likelihood (Plausibilität, „Wahrscheinlichkeit“) maximal wird, in einer Stichprobe die gegebene empirische Kovarianzmatrix vorzufinden.

Die Grundlagenforschung widmet sich der Entwicklung und Überprüfung wissenschaftlicher Theorien.

Die Interventionsforschung bzw. anwendungsorientierte Forschung widmet sich der Entwicklung und Überprüfung technologischer Theorien.

Die Evaluationsforschung widmet sich der Bewertung von Maßnahmen, Programmen (Maßnahmenbündeln), aber auch von anderen Evaluationsgegenständen. Dabei wird auf technologische oder auch grundlagenwissenschaftliche Theorien zurückgegriffen. Evaluationsforschung operiert meist stärker theorieanwendend als theorieentwickelnd.

Die Evaluationsforschung („evaluation research“) bzw. wissenschaftliche Evaluation („evaluation“) nutzt sozialwissenschaftliche Methoden, um einen Evaluationsgegenstand (z. B. ein Produkt oder eine Maßnahme) unter Berücksichtigung der relevanten Anspruchsgruppen (z. B. Patienten, Angehörige, Produktenwickler, Evaluationsauftraggeber) anhand bestimmter Evaluationskriterien (z. B. Akzeptanz, Wirksamkeit, Effizienz, Nachhaltigkeit) und Maßgaben zu ihren Ausprägungen zu bewerten. Die durch den Prozess der Evaluationsforschung im Ergebnis erlangte Bewertung soll in der Praxis unterschiedliche Evaluationsfunktionen erfüllen (z. B. Legitimations- oder Optimierungsfunktion), was eine aktive Evaluationsnutzung, d. h. ein praktisches Aufgreifen der laufenden und/oder abschließenden Evaluationsergebnisse verlangt (z. B. unterstützt durch schriftliche Reports, mündliche Berichte und/oder Workshops des Evaluationsteams für die relevanten Anspruchsgruppen). Die Evaluationsforschung ist den üblichen Prinzipien der Wissenschaftlichkeit sowie der Wissenschafts- und Forschungsethik verpflichtet, die für die besonderen Bedingungen der Evaluationsforschung zusätzlich in verbindliche Evaluationsstandards als Gütestandards für Evaluationsstudien gefasst wurden. Die Evaluationsforschung stellt über sozialwissenschaftliche Methodenkompetenz hinaus besondere Anforderungen an die Qualifikation der Evaluierenden.

Im Kontext der Evaluationsforschung sind mit Anspruchsgruppen bzw. Stakeholdern („stakeholder“) alle direkt und indirekt von der Nutzung und Wirkung des Evaluationsgegenstandes Betroffenen („program beneficiary“ bzw. Zielgruppe: Kunden, Patienten, Teilnehmer sowie deren Angehörige, Freunde etc.) sowie alle an der Entwicklung, Umsetzung und Optimierung des Evaluationsgegenstandes Beteiligten („program developer/provider“: Produkt- und Maßnahmenentwickler, Maßnahmenverantwortliche, Dienstleistungspersonal, politische Entscheidungsträger etc.) gemeint.

Unter Evaluationsrespondenten („evaluation respondent“) versteht man Betroffene und Beteiligte, die an Datenerhebungen im Zuge einer Evaluationsstudie teilnehmen (z. B. mittels Fragebogen, Interview).

Im Zuge der Evaluationsforschung wird eine wissenschaftlich fundierte Bewertung des Evaluationsgegenstandes erarbeitet, die wiederum dazu dient, übergeordnete praxisbezogene Funktionen zu erfüllen, die sich als Erkenntnis-, Lern- und Dialog-, Optimierungs-, Entscheidungs- und Legitimationsfunktionen fassen lassen.

Mit der Evaluationsnutzung („evaluation utilization“) ist die Verwendung der Ergebnisse einer wissenschaftlichen Evaluation durch Verantwortliche in der Praxis gemeint. Damit die Evaluationsergebnisse zu sachgerechten Entscheidungen (z. B. Weiterführung einer Maßnahme oder nicht) und sinnvollen Veränderungen (z. B. spezifische Verbesserungen einer Maßnahme) führen, ist die Abgabe eines Evaluationsberichtes mit entsprechenden Empfehlungen meist nicht ausreichend. Stattdessen sollten die Bedeutung und Konsequenzen der Evaluationsergebnisse mit den entsprechenden Stakeholdern diskutiert und Umsetzungsprozesse organisiert werden (z. B. durch Workshops, Weiterbildungsmaßnahmen, Einrichtung von Arbeitsgruppen). Insbesondere wenn eine Evaluation die Funktion hat, die Maßnahme fortlaufend zu verbessern, sind Bemühungen um die Evaluationsnutzung nicht nur am Projektende sinnvoll, sondern häufige Rückkopplungen von Evaluationsergebnissen an die für die Entwicklung, Realisierung und Umsetzung des Evaluationsgegenstandes Zuständigen notwendig, etwa im Sinne eines Regelkreissystems.

Computationale Sozialwissenschaften („computational social sciences“, CSS) und computationale Humanwissenschaften („computational human sciences“, CHS) sind interdisziplinäre Forschungsfelder, in denen sozial- und humanwissenschaftliche Fragestellungen auf unterschiedlichen Ebenen (Individuen, Gruppen, Gesellschaften) mit computationalen Methoden bearbeitet werden. Dabei ist eine enge Zusammenarbeit zwischen den jeweiligen Sozial- und Humanwissenschaften einerseits und den Ingenieur- und Formalwissenschaften (Informatik, Statistik, Mathematik) andererseits notwendig.