Test, envanter, ölçek ve öz yansıtma aracı

Açılış sahnesi

Erzurum'da belediyenin kariyer günü akşamüstü bitiyor. Otuz dört yaşındaki Oktay, iki yıl önce kapanan bir oto servisinin eski teknisyeni, eve dört kâğıtla dönüyor ve onları mutfak masasına açıyor. Birinci kâğıt bir lojistik firmasının forklift operatörlüğü için yaptırdığı yirmi soruluk yazılı sınavın sonucu: on altı doğru. İkincisi bir market zincirinin standında doldurduğu «çalışma tarzı testi»: altı başlık, her birinin yanında bir çubuk. Üçüncüsü bir derneğin «meslek ilgi testi»: en yüksek üç ilgi alanı yazılmış. Dördüncüsü bir koçluk firmasının «hayalini keşfet testi»: boş bir yıldız çizimi, köşelerine kendi yazdığı beş kelime.

Eşi Hacer kâğıtları sırayla eline alıyor. «Hepsinin adı test. Hangisinde iyi çıktın?» Oktay bir an düşünüyor. On altı doğru bir başarı gibi duruyor. Çubuklar ne iyi ne kötü, yalnız uzun ya da kısa. İlgi listesinde bir sıra var ama kimse kimseyi geçmemiş. Yıldızın köşelerindeki kelimeleri ise kendisi yazmış; onlara puan vermek tuhaf geliyor.

Dört kâğıdın üstünde aynı kelime yazıyor, ama Hacer'in sorusu yalnız birine uyuyor. Öbür üçünde «iyi çıkmak» diye bir şey yok; her biri başka bir soruya başka türden bir cevap veriyor.

Bu derste ne olacak

Önceki dersin bıraktığı soru, bazı araçlarda doğru cevap olup bazılarında olmamasıydı. Bu ders o ayrımı üç eksene açıyor. Önce yanıtın neye göre değerlendirildiğine bakacağız: bir doğruya, kişinin her zamanki eğilimine, yoksa kişinin kendi verdiği anlama. Sonra puanlamanın bu üç durumda nasıl değiştiğini küçük bir hesapla izleyeceğiz. Üçüncü olarak bir aracın taşıması gereken kanıt yükünün etiketinden değil iddiasından geldiğini göreceğiz. Kesitte bir okul rehberlik servisinde, çevrim içi bir «meslek testi» çıktısıyla gelen bir öğrenciyle kurgusal bir an var.

Test ile öz yansıtma aracının farkını Koçluk Akademisi iki derste kurdu: 23.1 güvenirlik ile geçerliği ayırarak, 17.2 hayat çarkını bir testten ayırarak. Burada aynı fark psikometrinin diliyle, bir araç seçimine dönüşecek biçimde ele alınıyor.

Sıfır noktası

Alanın ortak metni olan Standartlar (AERA, APA ve NCME 2014) işe bir tanımla başlar.

Metin aynı sayfada gündelik dildeki kullanımı da kaydeder: «test» adı bazen yalnız doğruluğu değerlendirilen araçlara ayrılır, «ölçek» ve «envanter» adları ise tutum, ilgi ve yatkınlık ölçen araçlar için kullanılır. Oktay'ın dört kâğıdından yalnız forklift sınavı bu dar anlamda bir testtir.

Mekanizma

Birinci eksen: yanıt neye göre değerlendiriliyor

Forklift sınavı «bu kişi ne kadar iyisini yapabilir?» diye sorar. Çalışma tarzı formu «bu kişi genellikle nasıl davranır?» diye sorar. Yıldız çizimi bir şey sormaz; Oktay'a kendi sorusunu kâğıt üstünde görme fırsatı verir.

Bu farkın büyüklüğü iş performansı araştırmasında ölçüldü.

İkinci eksen: puan nasıl kuruluyor

En yüksek performans ölçümünde puanlama bir cevap anahtarına dayanır: her maddenin doğrusu önceden belirlenmiştir ve kişinin yanıtı ona uyar ya da uymaz. Tipik davranış ölçümünde ise anahtarın yerini bir yön alır. Önceki derste ters puanlanan maddeyi böyle gördük: «katılıyorum» yanıtı bir maddede özelliğin yüksekliğine, öbür maddede düşüklüğüne sayılıyordu. Hiçbir yanıt yanlış değildi; yalnız hangi yöne sayılacağı belirlenmişti.

Anahtarın olması, envanterde hiç olmayan bir sorunu da getirir: tahmin.

Klasik bir düzeltme, yanlış sayısının seçenek sayısının bir eksiğine bölümünü doğru sayısından çıkarır. Birinci çalışanın beklenen yanlış sayısı 6 − 1,5 = 4,5; 4,5 bölü 3, 1,5 eder ve düzeltilmiş puan 7,5 − 1,5 = 6 olur. İkinci çalışanın yanlışı yok, puanı 7'de kalıyor. Düzeltme ortalamada bilinen madde sayısını geri getirir; tek bir kişide şans yine payını alır. Bir envanterde bu hesabın karşılığı yoktur, çünkü tahmin edilecek bir doğru yoktur. Onun yerine kişinin kendini olduğundan farklı gösterme olasılığı gelir, yani Koçluk Akademisi'nin 23.1 dersinde sosyal istenirlik adını alan eğilim.

Burada üçüncü kelime devreye girer. «Ölçek» Türkçede iki ayrı işi görür ve ikisi sık karışır.

Sayıların hangi düzeyde ölçme yaptığı, yani sınıflama, sıralama, eşit aralık ve oran ayrımı, M03-D02 dersinde, Temel Psikoloji Akademisi'nde kuruldu. O ayrım bu kelimenin ilk anlamına aittir.

Üçüncü eksen: kanıt yükü nereden geliyor

Üç eksenin en çok yanlış anlaşılanı bu. Bir araç «envanter» ya da «öz yansıtma aracı» diye adlandırıldığında daha az kanıt gerektirdiği sanılır. Standartlar tam tersini yazar.

Kanıt yükü, puan hakkında ne iddia edildiğinden ve puanın hangi karara girdiğinden gelir; M01-D01 yüksek riskli kararın daha çok kanıt istediğini gösterdi. Aynı kâğıt, iddiası büyüdükçe başka bir türe de geçer.

Uygulamadan bir kesit

Zelal, Serap Hanım ve okul, bu derse özgü bir kurgunun parçası. Mardin'de bir Anadolu lisesinin rehberlik servisi, öğle arası. Uygulayıcı, okulun rehber öğretmeni Serap Hanım. Katılımcı, on birinci sınıftaki on altı yaşındaki Zelal. Zelal telefonunda bir sayfanın ekran görüntüsünü gösteriyor: adı «Ücretsiz Meslek Testi» olan bir site, otuz soruluk bir anketten sonra üç meslek önermiş ve en üste «inşaat mühendisi, uyum yüzde 92» yazmış. Zelal sonuca itiraz etmiyor; tersine, çok sevinmiş.

Katılımcı: «Hocam, ben zaten mühendis olmak istiyordum. Test de söyledi işte, yüzde doksan iki. Babama gösterdim, o da ikna oldu. Ama matematikte iyi değilim. Test bana uyduğunu söylüyorsa, matematiği de hallederim herhalde, değil mi?»

Uygulayıcı: «Soruları hatırlıyor musun? Ne tür şeyler sordu?»

Katılımcı: «Şantiyede çalışmak hoşuma gider mi, bir binanın nasıl ayakta durduğunu merak eder miyim, öyle şeyler. Hepsine evet dedim. Doğru cevap yoktu zaten, hocam, ne hissediyorsan onu işaretliyorsun.»

Kesit burada duruyor. Zelal'in sorusu iki şeyi birbirine bağlıyor: bir ilgi anketinin sonucu ile matematikte başarılı olup olmayacağı. Serap Hanım'ın önünde birkaç yol var. Sitenin bilinmeyen bir kaynak olduğunu söyleyip sonucu bir kenara bırakmasını önerebilir. Okulun kullandığı, el kitabı olan bir ilgi envanterini uygulamayı teklif edebilir. Ya da önce Zelal'in cümlesindeki bağı çözebilir: anketin sorduğu şey ne, Zelal'in sorduğu şey ne?

Birinci yol sitenin kaynağı hakkında haklı olabilir, ama Zelal'in getirdiği asıl soruyu cevapsız bırakır ve sevincini bir hükümle kapatır. Kaynağı belirsiz bir çevrim içi testin nasıl inceleneceği M14-D05'e kalıyor. İkinci yol daha iyi kanıtı olan bir araca geçer, ama aynı karışmayı taşıyabilir: el kitabı ne kadar sağlam olursa olsun, bir ilgi envanteri de matematik başarısını kestirmek için tasarlanmamıştır. Üçüncü yolun ölçülebilir bir dayanağı var. Zelal'in tarif ettiği maddeler tipik eğilimi soruyor; yanıtları hiçbir anahtarla doğru ya da yanlış diye değerlendirilmiyor. Böyle bir puandan «yapabilir» cümlesi kurulamaz, çünkü araç en yüksek performansı hiç örneklemedi. Bu sınır aracın türünden çıkıyor; Serap Hanım'ın onu hangi sözlerle anlatacağı ve Zelal'in sevincini nasıl karşılayacağı ise üslubun konusu. Rakamın kendisi, hangi kurala ve hangi karşılaştırmaya dayandığı bilinmedikçe, bir uyum yüzdesi değil bir ekran süsüdür.

Usta katmanı

Üç eksen her araçta temiz ayrılmaz. Sınırın en çok bulanıklaştığı yerlerden biri, aynı maddenin yönergesi değiştiğinde başka bir türe geçmesidir.

Benzer bir bulanıklık, aynı adı taşıyan bir yapının iki türle ölçülmesinde görülür. Duygusal zekânın hem bir yetenek testiyle hem bir öz bildirim envanteriyle ölçülmesi ve bu iki ölçümün neden aynı şeyi göstermeyebileceği M14-D06'nın konusu.

İkinci bulanıklık türler arası alanların örtüşmesinden gelir. Yetenek ile ilgi ve kişilik farklı araçlarla ölçülür, ama kişide birbirinden kopuk durmazlar.

Zelal'in kesitine dönülürse: ilgi ile yetenek arasındaki ortalama bir bağ, tek bir öğrencinin matematik notu hakkında çok az şey söyler.

Öz yansıtma aracının kendi ayrı riski var: başlangıçta kişinin kendine bakması için kullanılan bir kâğıt, zamanla bir kurumun sonuç ölçüsüne dönüşebilir.

Uygulayıcıların en sık düştüğü hata, aracı adıyla değil türüyle tanımadan rapor cümlesi kurmaktır. Bir envanter raporundaki «yüksek» kelimesi bir başarı değil, bir norm grubuna göre bir konumdur; bir bilgi sınavındaki «yüksek» ise bir ölçüte göre daha fazla doğrudur. İki «yüksek», iki ayrı cümleye gider.

Kanıtın sınırı

Bu dört ad arasındaki ayrım bir sınıflama kuralıdır, deneysel bir bulgu değildir. Standartlar bu kelimelerin gündelik kullanımının tutarsız olduğunu kendisi kaydeder ve hepsini tek bir «test» terimi altında toplar. Bir el kitabının «ölçek» dediğine bir başkası «envanter» der. Bu yüzden ders bir sözlük önermiyor, bir aracı tanımak için sorulacak üç soruyu öneriyor.

En yüksek ve tipik performans ayrımını destekleyen meta-analiz iş performansı ölçümlerinden geliyor; bir yetenek testi ile bir kişilik envanterinin puanları arasındaki farkı doğrudan sınamıyor ve buraya aktarımı bir genellemedir. Ackerman ve Heggestad'ın çalışması yaklaşık otuz yıllıktır; dört özellik kümesinin sonraki çalışmalarda ne ölçüde korunduğu bu dersin incelediği bir soru değil. Tahmin düzeltme formülünün davranışı bir varsayıma dayanır: bilmeyen kişinin seçenekler arasında rastgele seçtiği varsayımı. Gerçek katılımcılar çoğu zaman bir iki seçeneği eleyip kalanlar arasında tahmin eder ve formül bu durumda tam düzeltmez.

Öz yansıtma aracının bir teste dönüştüğü eşiğin tam yeri de bilinmiyor. Standartlar yalnız yönü söyler: risk arttıkça titizlik artar. Sınırın kendisi her uygulamada ayrıca çizilir.

Kendin dene

Aklında kalsın

Bir aracın adı, türü hakkında güvenilir bir bilgi değildir. Tür üç sorudan okunur: yanıt neye göre değerlendiriliyor, puan nasıl kuruluyor, puandan ne iddia ediliyor.

En yüksek performans ölçümü kişinin elinden gelenin en iyisini sorar ve bir anahtarla puanlanır; tipik davranış ölçümü kişinin genellikle ne yaptığını sorar ve bir yönle puanlanır. Biri tahmine açıktır, öteki kendini farklı gösterme eğilimine.

«Ölçek» kelimesi hem bir yanıt biçimini hem bir maddeler bütününü adlandırır. Raporu okurken hangisinin kastedildiğini bulmak, cümlenin kanıtını aramanın ilk adımıdır.

Kanıt yükü etiketten değil, iddiadan ve karardan gelir. Aynı kâğıt, kişinin kendine bakması için kullanıldığında az, bir kişi hakkında karar verirken kullanıldığında çok kanıt ister.

Sonraki derse köprü

Zelal'in ekran görüntüsünde tek bir rakam vardı, ama o rakamla Zelal'in cümlesi arasında birden çok adım atlanmıştı. Otuz yanıt bir kuralla bir uyum yüzdesine çevrildi; o otuz soru, Zelal'in ilgisinin bütünü yerine geçirildi; ilgiden de bir başarı beklentisine geçildi. Her adım ayrı bir varsayım ve her biri ayrı bir yerde kırılabilir. M01-D04, «Puan bir çıkarımdır», bu adımları puanlama, genelleme ve kestirim halkaları olarak adlandırıyor ve bir rapor cümlesinde hangi halkanın en zayıf olduğunu bulmayı öğretiyor.