Effects of differential time and difficulty weighting on the improvement of OSCE quality metrics

Namen: Objektivni strukturirani klinični izpit (OSKI) je postal vodilna metoda za ocenjevanje izvedbe kliničnih veščin. Njegova pogosta težava je neskladje med oceno na ocenjevalnem obrazcu in splošno oceno ocenjevalca. V preteklosti neskladij niso uspešno reševali z obteževanjem posameznih korakov. Sistematičnega diferencialnega obteževanja, ki podeljuje točke glede na izračun časovnih in težavnostnih uteži, še niso raziskali. Namen študije je bil: a) tvoriti formule za izračun težavnostnih in časovnih uteži, b) tvoriti eksperimentalni obrazec z upoštevanjem izračunanih uteži in c) oceniti uspešnost metode pri izboljšanju kazalnikov kakovosti OSKI. Metode: Najprej smo tvorili formule za izračun časovnih in težavnostih uteži posameznih korakov. Nato smo s pomočjo uteži obtežili posamezni korak v eksperimentalnem obrazcu. Kontrolni obrazec so neodvisno od raziskave obtežili klinični mentorji. Uspešnost obrazcev smo preverili med rednim izpitom OSKI za študente 3. letnika. Študente (n = 55) je z obema ocenjevalnima obrazcema in splošnim obrazcem ocenilo deset ocenjevalcev. Rezultate smo analizirali s t-testom za odvisna vzorca, enostavno linearno regresijo in psihometričnim testiranjem. Rezultati: V primerjavi s kontrolnim obrazcem smo na eksperimentalnem obrazcu ugotovili višjo povezavo med oceno na ocenjevalnem obrazcu in splošno oceno (r = 0,622, p < 0,001 vs. r = 0,496, p < 0,001) in pomembno nižje rezultate (p < 0,001). Zaključek: Ugotovili smo, da diferencialno obteževanje korakov s časovnimi in težavnostnimi utežmi lahko izboljša kazalnike kakovosti OSKI in zmanjša neskladje med oceno na ocenjevalnem obrazcu in splošno oceno.