Psikometri nedir, ne değildir

Açılış sahnesi

Kayseri, bir cuma akşamı. Yemek kalkmış, çay demleniyor. On üç yaşındaki Eymen'in okul çıkışı uğradığı özel bir kurs, ona ücretsiz bir «yetenek ve meslek eğilimi testi» uygulamış; dört sayfalık rapor sofranın ortasında elden ele dolaşıyor. Sayısal yetenek satırında 38 yazıyor, yanında küçük bir çubuk grafiği var.

Annesi raporun son sayfasını gösteriyor: kurs, Eymen'in «sayısal açığını kapatmak» için yaz dönemi paketi öneriyor ve paketin fiyatı da orada. Dayısı rapora bir göz atıp hükmünü veriyor: «Bu çocuk sözelci, zorlamayın.» Babaannesi ise 38'i kötü bir tahlil sonucu gibi okuyor: «Bir doktora mı göstersek, dikkat eksikliği midir nedir?» Eymen hiçbir şey söylemiyor; testi bir cumartesi sabahı, arkadaşı dışarıda beklerken yirmi dakikada doldurduğunu hatırlıyor.

Aynı sayı, aynı sofrada üç ayrı işe koşuluyor: biri bir ürünü satıyor, biri bir çocuğu bir kutuya koyuyor, biri bir hastalık arıyor. Hiçbiri şu soruyu sormuyor: bu 38, Eymen hakkında neyi söylemeye yetecek kadar kanıt taşıyor? Psikometri tam o soruyla başlar.

Bu derste ne olacak

Bu akademinin ilk dersi alanın sınırını çiziyor. Önce psikometrinin ne olduğunu kuruyoruz: bir ölçme kuramı ve bir kanıt disiplini. Sonra puanın hangi yoldan bir kişi hakkında bir cümleye dönüştüğünü ve o cümlenin neden ayrıca savunulması gerektiğini görüyoruz. Ardından psikometrinin en sık karıştırıldığı üç işi, test satmayı, kişiyi sınıflamayı ve tanı koymayı, birer birer ayırıyoruz. Bir sonuç görüşmesinden kurgusal bir kesitte bu karışıklığın bir uygulayıcının önüne nasıl bir seçim olarak geldiğini izliyoruz.

Güvenirlik ile geçerliğin ilk, sade ayrımı Koçluk Akademisi 23.1'de, bir ölçeğin madde yazımından norm toplamaya uzanan üretimi Temel Psikoloji Akademisi M12-D07'de anlatıldı. Burada o tanımlar yeniden kurulmuyor; bakılan şey, bir puanla kurulan cümlenin kendisi.

Sıfır noktası

Ölçülen şey çoğu zaman doğrudan görülmez. Kimse kaygıyı, özeni ya da sayısal akıl yürütmeyi bir cetvelle ölçemez; elimizde yalnız bir kişinin belirli koşullarda verdiği yanıtlar vardır.

Bu iki tanımdan ilk ve en yaygın yanlış doğar.

Mekanizma

Puandan cümleye

Bir test uygulandığında ortaya önce bir puan çıkar. Okurun ve katılımcının ilgilendiği şey ise puan değil, puanla kurulan cümledir: «Eymen'in sayısal yeteneği zayıf», «Bu aday baskı altında dağılır», «Bu yöneticinin ekip kurma becerisi gelişmeli». Psikometri, puanla cümle arasındaki mesafeyi ölçülebilir parçalara ayırır.

İlk parça puanın kendisidir: yanıtlar hangi kuralla sayıya çevrildi, aynı yanıtları veren iki kişi aynı puanı alır mı? İkinci parça puanın hatasıdır: aynı kişi başka bir gün, başka bir madde setiyle ne kadar farklı bir puan alırdı? Klasik test kuramının ders kitabı sayılan Lord ve Novick'in 1968 tarihli eseri bu ikinci sorunun matematiğini kurar ve bu akademinin üçüncü modülü onu adım adım açar. Üçüncü parça yorumdur: bu puan, adı konan yapı hakkında ve o yapının önemli olduğu bir karar hakkında ne söyleyebilir?

En çok unutulan adım budur. AERA, APA ve NCME'nin 2014 tarihli ortak Standartları (Standards for Educational and Psychological Testing) geçerlik bölümünü şu ilkeyle açar: değerlendirilen şey testin kendisi değil, test puanlarının önerilen kullanımlara yönelik yorumlarıdır.

Koçluk Akademisi 23.1 bu fikre bir danışanın «bu test doğru mu?» sorusundan varıyordu. Buradaki katman şu: o sorunun cevabı bir sıfat değil, bir kanıt dosyasıdır ve dosyanın en zayıf halkası cümlenin sınırını belirler. Halkalar M01-D04'te tek tek ayrılıyor.

Psikometri ne değildir: üç karışıklık

Açılıştaki sofrada 38'i üç kişi üç ayrı işe koştu. Bu üç iş, psikometrinin en sık karıştırıldığı üç alandır.

Birincisi test satmaktır. Bir aracı geliştirmek, basmak ve satmak meşru bir iştir; ama satıcının broşüründeki iddia, aracın kanıtı değildir. Psikometri aracın kendisinden çok aracın ardındaki dosyayla ilgilenir: puanlar kimden, kaç kişiden, hangi koşulda toplandı, hata ne kadar, hangi kullanım için hangi bulgu var? Bu akademi ticari araçları adıyla anabilir; ama bir iddiayı yalnız hakemli bir yayına ya da aracın kendi yayımlanmış el kitabına dayandırır ve hangisine dayandığını söyler.

İkincisi kişiyi sınıflamaktır. «Sözelci», «içe dönük», «düşük potansiyelli» gibi etiketler bir puanı bir kişiye dönüştürür. Bir puan ise kişinin bir sürekliliğin üzerindeki tahmini konumudur ve bir hata payıyla birlikte gelir. Kesme noktasıyla iki kutu kurmak bazen gereklidir; ama sınıra yakın iki kişi, küçük bir farkla ayrı kutulara düşer.

Üçüncüsü tanı koymaktır. Klinik bir tanı, yetkili bir uzmanın görüşmeyi, öyküyü, gözlemi ve gerektiğinde testleri birleştirerek verdiği bir hükümdür. Bir test puanı bu hükmün malzemelerinden biri olabilir; tek başına hüküm olamaz. Standartlar metni de psikolojik değerlendirmeyi, test bilgisinin başka kaynaklardan gelen bilgiyle birleştirildiği daha geniş bir süreç olarak tanımlar. Klinik bir aracın koçluk ortamına girdiği sınır durumu M10-D06'da çiziliyor.

Puanı nasıl birleştirdiğin de ölçmenin parçasıdır

Psikometri, birden çok bilginin bir karara nasıl toplandığıyla da ilgilenir. Bir İK uzmanı test puanını, mülakat notunu ve referans görüşmesini kafasında da birleştirebilir, önceden yazılmış bir kurala göre de.

Bulgunun asıl hedefi bir alışkanlıktır: puanları görüp «ama görüşmede çok iyi bir izlenim bıraktı» diyerek hepsini kenara iten gözlemci. Psikometrik düşünce puanı kutsamaz, izlenimi de denetimsiz bırakmaz.

Uygulamadan bir kesit

Bu kesit bir kurgudur: Kerem de, Nurhan da, fabrika da yalnız bu sayfada var. Gaziantep'te bir halı fabrikasının orta kademe yöneticileri için başlattığı gelişim programında, katılımcılar dış kaynaklı bir kişilik envanteri doldurmuş. Uygulayıcı, programı yürüten danışmanlık ekibinden Kerem. Katılımcı, fabrikanın kalite birimini yöneten, kırk yedi yaşındaki Nurhan. Görüşme çevrim içi, Nurhan'ın masasında raporun çıktısı duruyor.

Katılımcı: «Raporu dün akşam okudum. Duygusal denge diye bir satır var, orada en alt dilimdeyim. Açıkçası şaşırmadım. Eşim de hep sinirli olduğumu söyler. Galiba ben sinir hastasıyım.»

Uygulayıcı: «Raporun o satırını birlikte açalım. Önce şunu sorayım: o satırı okuduğunuzda aklınızdan ilk geçen şey neydi?»

Katılımcı: «Programdan çekilmem gerektiği. Yönetici olacak biri sakin olmalı, değil mi? Bir de bir doktora görünsem mi diye düşündüm. Test bunu söylüyorsa vardır bir şey.»

Uygulayıcı: «Bu envanteri doldururken nasıl bir gündü sizin için, hatırlıyor musunuz?»

Katılımcı: «Sevkiyat haftasıydı. Bir parti iade gelmişti, akşam dokuza kadar fabrikadaydım. Envanteri evde, gece doldurdum. Ama sorular genel sorulardı, o günle ilgili değildi.»

Kesit burada duruyor. Nurhan sonuca itiraz etmiyor; tersine onu fazlasıyla benimsemiş ve iki karara bağlamış: programdan çekilmek ve bir hastalık aramak. Uygulayıcının önünde birkaç olası hamle var. Kerem onu rahatlatıp «Bu testler çok bir şey söylemez, takılmayın» diyebilir. Raporu teknik olarak açıklayıp dilimin ne anlama geldiğini, norm grubunun kim olduğunu anlatmaya girişebilir. «Doktora görünmek isterseniz bu sizin kararınız» deyip konuyu kapatabilir. Ya da raporun neyi söyleyip neyi söylemediğini Nurhan'ın kendi iki kararına bağlayarak konuşabilir.

İlk hamle bir yanıltmadır: Kerem aracın kanıtını bu cümleyi kuracak kadar bilmiyor, üstelik Nurhan'ın kaygısını küçümsüyor ve programın kendisini anlamsız kılıyor. İkinci hamle bilgiyi doğru verse bile, Nurhan'ın gerçek sorusunu, «bu bende bir hastalık mı?» sorusunu karşılamadan bir ders anlatmaya dönüşebilir. Üçüncü hamle yanlış bir şey söylemiyor; ama Nurhan'ın «test bunu söylüyorsa vardır bir şey» cümlesini, yani bir gelişim puanını bir tanı gibi okumayı, düzeltilmeden bırakıyor.

Dördüncü hamle psikometrinin bu dersteki sorusuna en yakın olanı. Kerem, envanterin önerilen kullanımının bir gelişim görüşmesine konuşma malzemesi sağlamak olduğunu söyleyebilir: araç bir tanı aracı değil ve bir yöneticilik kararı için de tasarlanmadı. Sonra puanı bir tahmin olarak çerçeveleyebilir: bir gece, yorgun bir günün ardından verilen yanıtların, bir karşılaştırma grubuna göre konumu. Nurhan'ın sinirlilik deneyimi de yok sayılmıyor; programda konuşulabilecek gerçek bir konu olarak masada kalıyor. Hangisinin «en iyi» olduğu bir üslup tercihidir; ölçülebilir olan şu: dördüncü hamlede puanın kullanımı ve sınırı açıkça söyleniyor, ilk üçünde söylenmiyor.

Usta katmanı

Psikometrinin araç yıkmak için var olduğu sanılır. Standartlar'ın girişi her testin iyi yapılmadığını kabul eder, ama iyi kurulmuş ve iyi yorumlanmış testlerin yararını gösteren geniş bir kanıt bulunduğunu da söyler. Usta bir uygulayıcı iki cümleyi birlikte taşır ve hükmünü kullanıma verir.

Bu ayrımın uygulamadaki karşılığı, «kullanmamak» seçeneğini de masada tutmaktır. Uluslararası Test Komisyonu'nun (International Test Commission, ITC) test kullanım yönergeleri, yetkin bir test kullanıcısından önce test kullanmanın gerekçesini ortaya koymasını, test dışındaki bilgi kaynaklarını aramasını ve testin bu kaynaklara göre artılarını ve eksilerini tartmasını ister.

Sık görülen bir uygulayıcı hatası, psikometrik dili otorite kostümü gibi giymektir. «Güvenirliği yüksek» demek, hangi tür olduğu, kimde hesaplandığı ve hangi karar için yeterli sayıldığı söylenmedikçe bir broşür cümlesidir. Psikometri bir cümleyi süslemek için değil, sınırlamak için kullanılır.

Kanıtın sınırı

Standartlar ve ITC yönergeleri birer uzman uzlaşısıdır: neyin sorulacağını temellendirirler, ama bu sorulara uyan bir kurumun daha iyi kararlar verdiğini gösteren bir deney sunmazlar. Standartlar'ın Amerikan eğitim ve istihdam sisteminde yazıldığını, Türkiye'deki bir okulun ya da fabrikanın koşullarını ayrıca düşünmediğini de akılda tutmak gerekir.

Grove ve arkadaşlarının meta-analizi güçlü ve geniş bir bulgudur, ama genellemenin nerede durduğu tartışmaya açıktır. Çalışmalar sağlık ve davranış kestirimlerinden geliyor; bir koçluk görüşmesinde ya da gelişim amaçlı bir değerlendirmede, yani amacın kestirim değil konuşma olduğu bir bağlamda, mekanik birleştirmenin ne kazandıracağı bilinmiyor. Ayrıca «mekanik kural» iyi bir kuralın varlığını varsayar; kötü kurulmuş bir formül, mekanik olduğu için iyi olmaz.

Son olarak, psikometrinin kendi içinde de tartışma sürüyor: geçerliğin bir puanın özelliği mi, yoksa bir yorumun ve onun sonuçlarının özelliği mi olduğu, Messick'ten Kane'e uzanan bir çizgide hâlâ tartışılıyor. Akademinin ikinci bölümü o tartışmayı ayrıntılı ele alıyor.

Kendin dene

Aklında kalsın

Psikometri bir test değil, bir test hakkında sorulacak soruların ve o soruları cevaplayan kanıtın disiplinidir. Ölçtüğü şeyin, yani yapının, kendisi görülmez; görülen yalnız yanıtlardır.

Bir puan ile o puandan kurulan cümle arasında bir mesafe vardır. Değerlendirilen araç değil, puanın önerilen kullanım için yorumudur; kullanım değiştiğinde kanıt yükü de değişir.

Psikometri en sık üç işle karıştırılır: bir ürünü satmak, bir kişiyi bir kutuya koymak ve bir tanı koymak. Üçü de puanı, taşıyamayacağı bir cümleye bağlar.

Bilgiyi bir karara nasıl birleştirdiğin de ölçmenin parçasıdır. Önceden yazılmış bir kural, sağlık ve davranış kestirimlerinde ortalamada sezgiden daha az yanılır; bunun gelişim görüşmelerine ne kadar taşındığı ise açık bir sorudur.

Sonraki derse köprü

Nurhan'ın raporundaki «duygusal denge» satırı bir ad taşıyordu, ama o ad hangi gözlenebilir yanıtlardan kuruldu? Gözlenemeyen bir özelliği, kaygıyı, özeni ya da liderliği, bir kişinin işaretleyebileceği yanıtlara bağlayan köprü bir işlemsel tanımdır ve o köprünün her adımında bir şey kazanılır, bir şey kaybedilir. M01-D02, «Kavramdan puana», bu yolu tek bir özellik üzerinden baştan sona yürüyor.