Evaluation of Cohen Kappa Coefficient and Distinguishability for Binary Data: A Simulation Study

Amaç: Bu çalışmanın amacı, 2 sonuçlu nominal derecelendirme ölçekleri için Cohen kappa uyum katsayısı ile kategori ayırt edilebilirlik derecesini birlikte değerlendirmektir. Gereç ve Yöntemler: Çalışmada, Phyton-random kütüphanesi kullanılarak 10≤ n ≤1000 aralığında yer alan 35 farklı n değeri için veri türetilmiştir. Verilerin türetilmesinde önce ile gösterilen gözelerden hangisine değer atanacağı sonra da ilgili gözeye atanacak değer belirlenmiştir. n=10 için 286, n=15 için 815 ve n≥ 20 için 1000'er farklı veri seti çalışmada kullanılmıştır. Bulgular: Literatürde ayırt edilebilirlik derecesinin 0-1 aralığında değer aldığı ifade edilmektedir. Ancak 0 değeri içeren ya da ekstrem durumların söz konusu olduğu tablolarda ayırt edilebilirlik derecesinin tanım aralığının dışında, negatif değer aldığı belirlenmiştir. Bunun yanı sıra literatürde ayırt edilebilirlik derecesinin nasıl yorumlanacağı ile ilgili çok genel bilgiler dışında herhangi bir bilgi yer almamaktadır. Dolayısıyla Cohen kappa katsayısı için literatürde yer alan yorumlama seviyeleri esas alınarak, ayırt edilebilirlik derecesi için yorumlama seviyeleri belirlenmiştir. Cohen kappa katsayısı için simülasyon çalışmasından elde edilen toplam 34.097 sonucun %49,5'inde uyum yok, %22,1'inde önemsiz, %13,0'ında orta derecede, %8,3'ünde ekseriyetle, %5,2'sinde önemli derecede ve %2,0'ında neredeyse mükemmel uyum sonucu ile karşılaşılmıştır. Ayırt edilebilirlik derecesi için ise %50,3'ünde ayırt edilemez, %12,4'ünde önemsiz, %11,8'inde orta derecede, %9,9'unda ekseriyetle, %7,6'sında önemli derecede ve %8,1'inde neredeyse mükemmel ayırt edilebilirlik sonucu ile karşılaşılmıştır. Her bir örneklem büyüklüğü ayrı ayrı dikkate alındığında da elde edilen sonuçlar benzerlik göstermiştir. Sonuç: Kategoriler arasında ayırt edilebilirlik söz konusu değilse değerlendiriciler arasında kesinlikle uyum aranmamalıdır. Kategorilerin önemli ya da mükemmel derecede ayırt edilebilir olması da değerlendiriciler arasındaki uyumun her zaman önemli ya da mükemmel derecede yüksek olacağını göstermez.