Fachgruppe Arbeits-, Organisations- und Witschaftspsychologie

Free AccessFachgruppe Arbeits-, Organisations- und WitschaftspsychologieEin Plädoyer für breit gewählte und anforderungsbezogene LeistungsindikatorenCornelia Niessen, Klaus G. Melchers, Sandra Ohly, Doris Fay, Lisa Handke, and und Marcel KernCornelia NiessenProf. Dr. Cornelia Niessen, Lehrstuhl für Psychologie im Arbeitsleben, Institut für Psychologie, Friedrich-Alexander-Universität, Nägelsbachstr. 49c, 91052 Erlangen, Deutschland, [email protected]Friedrich-Alexander Universität Erlangen-Nürnberg, DeutschlandSearch for more papers by this author, Klaus G. MelchersUniversität Ulm, DeutschlandSearch for more papers by this author, Sandra OhlyUniversität Kassel, DeutschlandSearch for more papers by this author, Doris FayUniversität Potsdam, DeutschlandSearch for more papers by this author, Lisa HandkeFreie Universität Berlin, DeutschlandSearch for more papers by this author, and und Marcel KernRuhr-Universität Bochum, DeutschlandSearch for more papers by this authorPublished Online:July 27, 2023https://doi.org/10.1026/0033-3042/a000637PDF ToolsAdd to favoritesDownload CitationsTrack Citations ShareShare onFacebookTwitterLinkedInReddit SectionsMoreDie von der DGPs beauftragte Arbeitsgruppe hat einen Vorschlag für die Reform von akademischen Einstellungs- und Beförderungsverfahren vorgelegt (Gärtner et al., 2022, 2023; Schönbrodt et al., 2022). Die Empfehlungen dieser Arbeitsgruppe, auf die sich der folgende Kommentar konzentriert, beinhalten zwei zentrale Aspekte: Erstens eine breitere und umfassende Berücksichtigung akademischer Leistungen, die neben der Forschung auch Lehre, Führung, akademische Selbstverwaltung und gesellschaftlichen Impact beinhaltet, und zweitens einen Vorschlag zur Bewertung von Leistung in einem dieser Bereiche, nämlich der Forschungsleistung in der Psychologie. Für deren Bewertung werden verschiedene Indikatoren vorgeschlagen, die während der ersten Phase eines Berufungsverfahrens herangezogen werden können und die sich gegen eine reine Fokussierung auf Impact-Faktoren und absolutes Drittmittelvolumen wenden (wobei wir selbst eine derart einseitige Fokussierung in Berufungskommissionen im Fach Psychologie an unseren eigenen Universitäten bisher nicht erlebt haben). Ziel der vorgeschlagenen Indikatoren ist es, die Qualität der Forschungsleistung stärker und breiter zu betonen.Die Fachgruppe Arbeits-‍, Organisations- und Wirtschaftspsychologie (AOW) begrüßt die Initiative und Vorschläge der DGPs-Arbeitsgruppe für eine verantwortungsvollere Bewertung von akademischen Leistungen im Kontext von Berufungen und Beförderungen. Als Ergebnis der Auseinandersetzung mit den Vorschlägen möchten wir als anwendungsorientiertes Fach jedoch nachfolgend einige Punkte konkretisieren, ergänzen und kritisch kommentieren.Wir befürworten, akademische Leistungen nicht nur auf die Forschung zu verengen. Dies deckt sich mit arbeits- und organisationspsychologischen Befunden, dass Arbeitsleistung mehrdimensional ist. Wir hoffen daher auf eine Ergänzung von Indikatoren für die anderen akademischen Leistungen, um eine ausgewogene Bewertung von Forschung sowie Lehre, Führung, Selbstverwaltung und Wissenstransfer gewährleisten zu können. Darüber hinaus begrüßen wir, dass schon in der ersten Phase die methodische Güte als notwendiges Kriterium für die Beurteilung der Forschungsleistung einbezogen wird. Allerdings vertreten wir die Ansicht, dass die Kriterien für den Bereich der Forschung ergänzt und an die jeweilige Forschungsdisziplin angepasst werden sollten. Darüber hinaus stellt sich für uns die Frage, ob ein weitestgehender Verzicht auf Indikatoren in Bezug auf Publikationen und Drittmitteleinwerbung nicht zu weit geht.Im Hinblick auf die Wahl einzelner Indikatoren von Arbeitsleistung stellt sich immer das Problem, dass jeder einzelne Indikator sowohl defizient (d. h. nicht alle Aspekte der Arbeitsleistung abdeckt) als auch kontaminiert ist (d. h. von leistungsirrelevanten Faktoren beeinflusst wird). Dies betrifft sowohl die von der Arbeitsgruppe kritisierten Indikatoren, wie die Anzahl an Publikationen, Impact-Faktoren und Drittmittelvolumen, als auch die verschiedenen Open-Science-Indikatoren. Für traditionelle quantitative Indikatoren (Publikationszahlen, Impact-Faktoren, …) sind Defizienz und Kontamination oftmals belegt worden – u. a. im Rahmen von zahlreichen Arbeiten, die deren Fehleranfälligkeit belegen und die von der Arbeitsgruppe ausführlich zitiert werden. Aus der Fehleranfälligkeit allerdings den Schluss zu ziehen, dass alle diese Indikatoren invalide sind (d. h. eine Kriteriumsvalidität von r = .00 haben), ist eine Implikation, für die nach unserer Kenntnis ein empirischer Beleg bislang nicht vorliegt. Darüber hinaus ist anhand der z. T. erheblichen qualitativen Unterschiede von publizierten Studien, die die verschiedenen Open-Science-Kriterien in vergleichbarer Weise erfüllen, leicht zu erkennen, dass entsprechende Indikatoren ebenfalls von Kriteriumsdefizienz und -kontamination betroffen sind. Durch die neuen Kriterien wird das Problem also nicht behoben, sondern nur verschoben. Für alle Indikatoren würden wir davon ausgehen, dass ihre Validität nicht perfekt ist (d. h. dass r < 1.00 ist), aber dass sie einen Teil der Arbeitsleistung abbilden (d. h. dass r > .00 ist). Vor diesem Hintergrund empfehlen wir im Einklang mit langjähriger Personalauswahl-Forschung, unterschiedliche Indikatoren heranzuziehen, die jeweils eigenständige Teile des Kriteriums (d. h. von der Forschungsleistung) abbilden. Folglich müsste eine größere Bandbreite von Indikatoren ausgewählt werden, die sich optimal ergänzen. Dies schließt dann die Aufnahme eines alterskorrigierten h-Index oder der Anzahl der Zitationen nicht von vornherein aus.Darüber hinaus sind die vorgeschlagenen Indikatoren einschließlich der Open-Science-Kriterien stark auf experimentelle und grundlagenorientierte Forschung bezogen und berücksichtigen viele Aspekte guter Forschung in angewandten Teilbereichen der Psychologie (z. B. Feldforschung) nicht ausreichend. Beispielsweise sollten Kriterien wie Methodenvielfalt (mixed methods), Reliabilität und Validität der verwendeten Maße, Stichproben aus der arbeitenden Bevölkerung (und nicht nur Studierendenstichproben) und die Angemessenheit der verwendeten Studiendesigns und statistischen Methoden in unserem Fach ebenfalls eine entscheidende Rolle bei der Vorauswahl spielen. Diese finden sich nicht in dem vorliegenden Vorschlag wieder.Wir unterstützen auch, dass Open-Science-Praktiken systematisch mit in die Bewertung der Forschungsleistung einbezogen werden. Für die angewandte Forschung sollten sie allerdings erweitert und überdacht werden (z. B. Weigelt et al., 2022). Zum Beispiel wäre hier die Bereitstellung von Data Transparency Sheets ergänzenswert, die bei der Nutzung von Sekundärdaten / Archivdaten sowie Datensätzen aus größer angelegten Datenerhebungen wichtig sind. Darüber hinaus wäre beispielsweise der Indikator zu hinterfragen, ob die erhobenen Daten veröffentlicht wurden. Als Anwendungsfach können wir für viele Fragestellungen nicht auf studentische Stichproben zurückgreifen, um valide Forschungsergebnisse zu erzielen, sondern sind vielmals auf Kooperationen mit Unternehmen angewiesen. Seitens der Unternehmen wird es jedoch oft nicht erlaubt, Daten öffentlich zugänglich zu machen, weil große Skepsis darüber besteht, inwiefern Rückschlüsse auf das Unternehmen tatsächlich ausgeschlossen werden können oder weil es Unternehmensrichtlinien gibt, die eine Veröffentlichung von Daten bzw. eine Weitergabe an Dritte ausdrücklich verbieten. Auch wenn wir den Nutzen von Open-Science-Praktiken (Präregistrierung, die Veröffentlichung von Codes etc.) nicht in Frage stellen, sollten sich Kommissionen trotzdem darüber im Klaren sein, dass diese an sich kein Indikator für die methodische Güte (Stringenz) sind, sondern das Mittel, um methodische Stringenz zu prüfen (z. B. Durchführung der Methode, richtige Datenanalysen). Eine reine Auszählung dieser Indikatoren wäre hochgradig defizient und damit vermutlich genauso problematisch wie die Nutzung von anderen Indikatoren.Die DGPs-Arbeitsgruppe schlägt darüber hinaus lediglich für drei Arten von Forschungsbeiträgen, nämlich für Veröffentlichungen, Datensätze und Forschungssoftware, differenzierte Kriterien für eine Bewertung vor. Bei den Publikationen legt der Vorschlag der Arbeitsgruppe großes Gewicht auf experimentelle Untersuchungen und vernachlässigt hier die angewandte Forschung, in der Metaanalysen, qualitative Untersuchungen sowie Theorieentwicklung gleichwertige Forschungsbeiträge darstellen. Damit entsteht der Eindruck, dass diese weniger gewichtet werden.Zusammengefasst möchten wir festhalten, dass die Indikatoren für gute Forschung breit genug gewählt werden müssen (was sie noch nicht sind) und Kommissionen das vorgelegte Bewertungsschema nicht einfach übernehmen können. Vielmehr müssen die Indikatoren aufgrund einer Anforderungsanalyse für die jeweilige Stelle angepasst und unterschiedliche Bereiche wissenschaftlicher Leistung entsprechend gewichtet werden. Die bisherige Version mit einer sehr engen Perspektive auf methodische Güte (Stringenz) widerspricht diesem Gedanken des spezifischen Anforderungsbezugs. Stattdessen wird bereits eine allgemein gültige Gewichtung vorgenommen, die allerdings nicht immer passend ist. Darüber hinaus sollte die entsprechende Anforderungsanalyse ebenfalls die weiteren Aspekte akademischer Leistungen abdecken, für die bisher noch keine Vorschläge für Indikatoren vorgelegt wurden, die aber im Rahmen von Berufungs- und Beförderungsverfahren ebenso berücksichtigt werden müssen.LiteraturGärtner, A., Leising, D. & Schönbrodt, F. D. (2023). Empfehlungen zur Bewertung wissenschaftlicher Leistungen bei Berufungsverfahren in der Psychologie, Psychologische Rundschau, 74, 166 – 174. https://doi.org/10.1026/0033-3042/a000630 First citation in articleAbstract, Google ScholarGärtner, A., Leising, D. & Schönbrodt, F. D. (2022, November 25). Responsible Research Assessment II: A specific proposal for hiring and promotion in psychology. PsyArXiv Preprint online. https://doi.org/10.31234/osf.io/5yexm First citation in articleCrossref, Google ScholarSchönbrodt, F. D., Gärtner, A., Frank, M., Gollwitzer, M., Ihle, M., Mischkowski, D. et al. (2022, November 25). Responsible Research Assessment I: Implementing DORA for hiring and promotion in psychology. PsyArXiv Preprint online. https://doi.org/10.31234/osf.io/rgh5b First citation in articleCrossref, Google ScholarWeigelt, O., French, K. A., de Bloom, J., Dietz, C., Knoll, M., Kühnel, J. et al. (2022). Moving from opposition to taking ownership of open science to make discoveries that matter. Industrial and Organizational Psychology – Perspectives on Science and Practice, 15, 529 – 532. https://doi.org/10.1017/iop.2022.66 First citation in articleGoogle ScholarFiguresReferencesRelatedDetails Diskussionsforum: Empfehlungen zur Bewertung wissenschaftlicher Leistungen bei Berufungsverfahren in der PsychologieVolume 74Issue 3Juli 2023ISSN: 0033-3042eISSN: 2190-6238 InformationPsychologische Rundschau (2023), 74, pp. 180-182 https://doi.org/10.1026/0033-3042/a000637.© 2023Hogrefe VerlagPDF download