Kavramdan puana

Açılış sahnesi

Tire'de salı pazarı dağılmak üzere. Kadın üreticilerin kurduğu kooperatifin tezgâhında son kavanozlar kasalara diziliyor. Yönetim kurulu yıl sonunda «en özenli üretici» ödülü vermeye karar vermiş ve bunun için bir puan kartı istiyor. Kart için toplanan dört kadın beş dakika içinde dört ayrı şey söylüyor.

Saniye Hanım için özen, tarhananın her partide aynı tarife göre yapılmasıdır. Genç yaştaki Melek için kavanozun etiketinin düz yapıştırılması, tarihinin okunaklı yazılmasıdır. Kooperatifin muhasebesini tutan Gülizar'a göre özen, siparişin söz verilen günde teslim edilmesidir. En yaşlıları Fadime Hanım ise tezgâhın sabah temiz kurulmasını sayıyor ve ekliyor: «Gözle görülür, yazıyla olmaz.»

Dördü de haklı ve dördü de aynı sözcüğü kullanıyor. Ama yazılacak kart hangi davranışı sayarsa, ödülü de o davranışta iyi olan alacak. Sözcük bir puana dönüşmeden önce birkaç karar verilecek ve her karar özenin bir kısmını içeri alıp bir kısmını dışarıda bırakacak.

Bu derste ne olacak

Önceki derste puanla kurulan cümlenin ayrıca savunulması gerektiğini gördük. Bu ders cümlenin öbür ucuna, puanın nereden geldiğine iniyor. Tek bir özelliği, özeni, adından toplam puanına kadar beş durakta izleyeceğiz: yapının tanımı, kapsam alanı, göstergelerin seçimi, maddenin ve yanıt biçiminin yazımı, puanlama kuralı. Her durakta aynı soruyu soracağız: bu karar puana hangi bilgiyi taşıdı, hangisini yolda düşürdü? Ardından bir pilot uygulamadan kurgusal bir kesitte bir maddenin, bir katılımcının elinde yapının tanımıyla nasıl çatıştığını izleyeceğiz.

Değişken ve işlemsel tanım, Temel Psikoloji Akademisi'nin M02-D02 dersinin konusuydu. Burada bakılan şey, bir işlemsel tanımın bir ölçme aracının içinde hangi ara kararlara bölündüğü.

Sıfır noktası

Yapı kavramı M01-D01'de tanımlandı: puanın adını aldığı ve doğrudan görülmeyen özellik. Bir yapıdan bir puana giden yol, ölçmek isteyenin önce o yapının neyi kapsadığını yazmasıyla başlar.

Mekanizma

Birinci durak: yapıyı tanımlamak

Kooperatifin kartı ilk olarak bir cümleye ihtiyaç duyuyor: bu kurumda özen ne demek ve ne demek değil? Tanım iki iş görür. İçeri alacağını söyler: tarife bağlılık, teslim günü, sunumun düzeni. Dışarıda bırakacağını da söyler: hız ya da üretim miktarı özenin parçası mı? Komşu bir yapıyla sınırı da çizer: özen ile çalışkanlık aynı şey mi?

Tanım yazılmadığında ya da gevşek yazıldığında, yeni bir ad eski bir özelliğin üstüne kolayca giydirilir.

Bu soruyu bir meta-analiz büyük ölçekte sordu. Credé, Tynan ve Harms, son yıllarda başarının ve performansın güçlü bir kestiricisi diye sunulan «azim» (grit) yapısının literatürünü taradı. Yazarlar Kelley'in 1927'de adını koyduğu bir yanılgıyı hatırlatır: iki şeyi yalnız farklı adları var diye farklı sanmak, yani «jangle» yanılgısı.

Kooperatifin kartı «özen» derken hızı da sayıyorsa, ödülü en hızlı üretici alabilir; tanım bu karışmayı önlemenin en ucuz yeridir. Bir yapının hangi ölçümlerle hangi yönde ilişki kurması gerektiğini önceden yazmak ise geçerliğin konusu ve M05-D03'te kuruluyor.

İkinci durak: kapsam alanını belirtime çevirmek

Tanım yazıldıktan sonra kapsam alanı bir plana döker. Tarife bağlılık, teslim günü, sunumun düzeni, tezgâhın temizliği: her yüz kaç maddeyle ve hangi durumlarla temsil edilecek?

Planın asıl değeri, boş kalan yeri görünür kılmasıdır. Planı olmayan bir ölçek, en kolay yazılan yüzde maddeyi biriktirir.

Üçüncü durak: göstergeleri seçmek

Kapsam alanının her yüzü, gözlenebilir bir şeye bağlanmak zorunda. Kooperatifte tarife bağlılık bir öz bildirim maddesiyle de sorulabilir, partiden alınan örneğin tadına bakan bir jüriyle de, satış sonrası gelen şikâyet kaydıyla da.

Göstergeyle yapı arasındaki bağın yönü de bir karardır. Bollen ve Lennox'un 1991 tarihli makalesi bu ayrımı ölçme kuramının merkezine koydu.

Dördüncü durak: maddeyi ve yanıt biçimini yazmak

Göstergeler seçildikten sonra her biri bir cümleye, bir yanıt ölçeğine, bir zaman çerçevesine ve bir dile dökülür. Bu durakta puana, yapıyla hiç ilgisi olmayan şeyler de girer.

Eksik temsil puanın yapının daha azını ölçtüğünü, ilgisiz varyans ise yapının dışındaki bir şeyi de ölçtüğünü söyler. Standartlar bu ikisini, önerilen bir yoruma karşı kurulabilecek rakip açıklamaların iki ana kaynağı sayar.

İlgisiz varyansın en bilinen kaynağı, kişinin kendini olduğundan iyi gösterme eğilimidir; Koçluk Akademisi 23.1 onu sosyal istenirlik adıyla anlattı. Kültürden kültüre değişen yanıt tarzları ise M06-D05'e kalıyor.

Beşinci durak: puanlama kuralı

Yanıtlar toplandığında son karar verilir: bu yanıtlar hangi işlemle tek bir sayıya dönüşecek?

Küçük bir hesap kuralın ne yaptığını gösterir. Bu ders için uydurulmuş, hiçbir araca ait olmayan altı maddelik bir özen ölçeği düşünelim. Her madde 1 ile 5 arasında yanıtlanıyor. İlk ikisi planlamayı, ortadaki ikisi denetimi, son ikisi düzeni soruyor; her ikilinin ikinci maddesinde, yani ikinci, dördüncü ve altıncı maddelerde, yön tersine çevrilmiş. Ters puanlanan maddenin işlevini Temel Psikoloji Akademisi M12-D07 anlatıyor; burada kuralı 6'dan yanıtı çıkarmak, yani 2 yanıtı 4 puan, 4 yanıtı 2 puan oluyor.

Birinci katılımcının yanıtları sırasıyla 5, 1, 5, 2, 2 ve 5. Ters maddeler çevrildiğinde puanlar 5, 5, 5, 4, 2 ve 1'e dönüşüyor ve toplam 22 ediyor. İkinci katılımcının yanıtları 3, 3, 3, 3, 5 ve 1; çevirmeyle 3, 3, 3, 3, 5 ve 5, toplam yine 22. İki kişinin madde ortalaması da aynı: 22 bölü 6, iki basamağa yuvarlanınca 3,67. Alt boyutlara bakınca tablo ayrılıyor: birincisi planlamada 10, denetimde 9, düzende 3 alıyor; ikincisi planlamada ve denetimde 6'şar, düzende 10. Toplam puan kuralı, bu iki ayrı özeni tek bir sayıda eşitledi.

Toplamak meşru bir karardır: maddelerin aynı yapının birbirinin yerine geçebilen göstergeleri olduğunu varsayar. Bu varsayım doğruysa toplam, tek tek maddelerden daha kararlı bir bilgi taşır. Yanlışsa toplam, iki ayrı özelliği tek bir adla raporlar. Varsayımın sınanması, yani bir ölçeğin iç yapısının kaç boyut taşıdığı, M06-D01'in sorusu.

Uygulamadan bir kesit

Aşağıdaki konuşma kurgudur; kişiler ve kurum bu ders için yazıldı. Bir üniversitenin araştırma ekibi, Zonguldak'ta bir termik santralin bakım birimi için bir iş güvenliği özeni ölçeği geliştiriyor ve ilk pilot uygulama santralin eğitim salonunda yapılıyor. Uygulayıcı, ekipteki araştırma asistanı Defne. Katılımcı, otuz yıldır kazan bakımında çalışan, elli altı yaşındaki Rıza Bey. Yönerge herkese aynı okunmuş: maddeleri kendi işinizi düşünerek yanıtlayın, doğru ya da yanlış cevap yok. Rıza Bey yedinci maddede kalemi bırakıyor. Madde, «Bir işe başladığımda bitirmeden bırakmam» diyor.

Katılımcı: «Hocam, bunu nasıl işaretleyeyim? Kazana girdiğimizde gaz alarmı öterse işi yarıda bırakırız, çıkarız. Bırakmayan adam özenli değil, deli. Ama burada bırakmamak iyi bir şeymiş gibi yazılmış.»

Uygulayıcı: «Sorunuzu anlıyorum. Maddeyi siz nasıl anladıysanız öyle işaretleyebilirsiniz.»

Katılımcı: «Ben anladım da, siz neyi soruyorsunuz? Sabırlı mıyım diye mi, kurala uyar mıyım diye mi? İkisi bizde ayrı şey. Doğruyu söyleyin, ona göre işaretleyeyim.»

Kesit burada duruyor. Rıza Bey bir sonuca itiraz etmiyor; sorusu yapının tanımına dokunuyor. Defne'nin önünde birkaç yol var. Maddenin «aslında azmi» sorduğunu açıklayıp Rıza Bey'i bu anlamla işaretlemeye yönlendirebilir. Yönergeyi yineleyip bir sonraki maddeye geçmesini isteyebilir. Maddeyi boş bırakmasına izin verebilir. Ya da yönergeyi yineleyip Rıza Bey'in yanıtını kendi anladığı gibi vermesini isteyebilir ve söylediğini, maddeye takılınan yer olarak pilot kayıt formuna kelimesi kelimesine yazabilir.

İlk yol en yardımsever görünenidir, ama ölçülebilir bir bedeli var: o andan sonra bu katılımcı, salondaki öbür katılımcılardan farklı bir yönergeyle yanıt veriyor. Uygulamanın standart olup olmadığı bir tercih meselesi değildir; ya herkese aynı bilgi verildi ya verilmedi. Üstelik Defne yapının anlamını katılımcıya söylerse, maddenin kendi başına bu anlamı taşıyıp taşımadığını öğrenme fırsatını kaybeder. İkinci yol standardı korur, ama Rıza Bey'in en değerli verisini, maddenin bu işte ters anlama geldiği bilgisini, kayda geçirmeden kaybeder. Üçüncü yol boşluğu bir eksik veri olarak bırakır; boşluğun nedeni yazılmazsa analizde rastgele bir eksiklik gibi görünür.

Dördüncü yolda iki şey birlikte yapılıyor: uygulama herkes için aynı kalıyor ve maddenin sorunu bir bulgu olarak ekibe ulaşıyor. Bir pilot uygulamanın amacı zaten budur. Rıza Bey'in cümlesi, ölçeğin tanımında sebat ile güvenlik kuralına uyumun ayrılmadığını gösteriyor; kazan bakımında bu iki şey çatışabiliyor. Defne'nin sözcük seçimi üslubun konusu; ölçülebilir olan, yönergenin herkese aynı kalıp kalmadığı ve takılmanın kayda geçip geçmediği.

Usta katmanı

Beş durağın en sinsi hatası, bir sonraki durakta verilen kararın bir öncekini sessizce yeniden yazmasıdır. Pilot sonrası madde ayıklama bunun en sık görüldüğü yerdir.

Kavramdan puana giden yolda kesinlik ile kapsam çoğu zaman ters yönde çalışır: tanım daraldıkça puan tutarlılaşır, genişledikçe yapıya sadakat artar ama puan dağılır. Bu gerilimi sıfırlayan bir kural yok; yapılabilecek şey, daralmayı belirtimde yazmak ve puanın adını ona göre koymaktır.

Sık görülen uygulayıcı hatası, hazır bir aracı alırken beş durağın hiçbirini sormamaktır. Bir el kitabında yapının tanımı, kapsam alanı ve puanlama kuralı yazılıdır ya da yazılı değildir; yazılı değilse aracın adına güvenmek dışında bir seçenek kalmaz. Bir aracın bu bilgileri hangi bölümde verdiğini okumak M01-D04'te kurulan çıkarım halkalarının ilkine, puanlama halkasına bakmaktır.

Kanıtın sınırı

Bu dersteki çerçevenin büyük kısmı kuramsal ve uzlaşıya dayalıdır. Standartlar test geliştirmenin hangi kararlarla ilerlemesi gerektiğini anlatır, ama ayrıntılı bir belirtimle geliştirilmiş araçların, belirtimsiz geliştirilmiş araçlardan ne kadar daha iyi kararlar ürettiğini gösteren bir karşılaştırma sunmaz. Eksik temsil ile ilgisiz varyans birer kavramdır; bir araçta ne kadar bulunduklarını ölçmenin tek bir yolu yoktur, her araçta ayrıca araştırılır.

Credé ve arkadaşlarının bulgusu güçlüdür, ama neyi gösterdiğinin sınırı bellidir. Yüksek bir ilişki iki yapının puanlarının büyük ölçüde örtüştüğünü söyler; iki yapının kuramsal olarak aynı olduğunu söylemez. Azmi savunan araştırmacılar ile eleştirenler arasındaki tartışma sürüyor ve «emekte sebat» alt boyutunun ayrı bir katkısı olduğu bulgusu, yapının tümüyle gereksiz olmadığını da düşündürüyor.

Etki ve neden göstergesi ayrımı yöntembilimde açık bir tartışma alanıdır. Hangi yapının hangi tür göstergeyle ölçülmesi gerektiğine dair genel bir test yoktur; karar kuramdan gelir ve kuram tartışılabilir.

Kendin dene

Aklında kalsın

Bir kavram puana tek bir adımda dönüşmez. Yapının tanımı, kapsam alanı, göstergelerin seçimi, maddenin ve yanıt biçiminin yazımı ve puanlama kuralı ayrı kararlardır; her biri puanın anlamını biraz değiştirir.

Ölçeğin adı geliştiricinin niyetidir. Aynı adlı iki araç ayrı şeyleri ölçebilir, ayrı adlı iki araç da neredeyse aynı şeyi.

Bir puan iki yönden yanılabilir: yapının bir kısmını hiç örneklemeyerek daralır ya da yapıya ait olmayan bir süreçten etkilenerek kirlenir. Okuma yükü, zaman çerçevesi ve kendini iyi gösterme eğilimi, ikinci türün sıradan kaynaklarıdır.

Toplam puan, maddelerin aynı şeyin birbirinin yerine geçebilen göstergeleri olduğunu varsayar. Bu varsayım sınanmadan bir toplam, iki ayrı özelliği tek bir sayıda eşitleyebilir.

Sonraki derse köprü

Bu derste kurduğumuz altı maddelik ölçekte doğru ya da yanlış bir cevap yoktu; Kocaeli'deki elektrik sınavında ise vardı. Biri bir tercihi ya da alışkanlığı sorar, öteki bir bilgiyi ya da beceriyi sınar. Aracın bu türü, hangi puanlama kuralının anlamlı olduğunu ve puanın taşıması gereken kanıt yükünü baştan belirler. M01-D03, «Test, envanter, ölçek ve öz yansıtma aracı», dört aracı amaçları, puanlanma biçimleri ve kanıt yükleri üzerinden ayırıyor ve elindeki bir aracın hangisine girdiğine nasıl karar verileceğini gösteriyor.