Nürnberg denemesinin sonucu ve sınırı

Açılış sahnesi

İstanbul, Kadıköy. Bir mahalle derneğinin salonu. Reçelci Sabiha Hanım iddialı: yeni tarifini yiyenlerin onda dokuzu «başka bir şey» hissedecekmiş. Sınamaya karar verilmiş. Kör tadım, numaralı kavanozlar, mühürlü zarf. Yalnız tadıcıların çoğu rakip reçelciler.

Zarf açılıyor. Elli kişiden sekizi olağandışı bir şey hissetmiş. Beşi yeni reçeli, üçü sıradan reçeli yemiş.

Rakipler alkışlıyor. Sabiha Hanım ayağa fırlıyor. «Jüri bana düşman! Yemişlerdir, hissetmişlerdir, ‹yok› demişlerdir!»

Salon uğulduyor. Muhasebeci Ece Hanım elini kaldırıyor. «Bir dakika. İki soruyu ayıralım. Sabiha Hanım, sen onda dokuz dedin. Yirmi beş kişi yediyse yirmi üçü demek. Beş çıktı. Yirmi üçten on sekizinin yalan söylemesi gerekir. Bu kadarına inanıyor musun?»

Sabiha Hanım duraklıyor.

Ece Hanım rakiplere dönüyor. «Siz de durun. Yeni reçelde beş, eskide üç. Bu fark hiçbir şey demek değil, ama ‹yeni reçelin hiçbir etkisi yok› da demek değil. Bu kadar az sayıyla küçük bir farkı göremezsiniz. Üstelik gerçekten kötü niyetli birkaç kişi varsa o küçük fark tam da görünmez olur.»

Salon sessizleşiyor. Ece Hanım defterini kapatıyor. «İkiniz de biraz haklısınız, biraz fazla konuştunuz.»

Bu derste ne olacak

Düzeni önceki derste söktük (HM05-M01-D02). Şimdi zarf açılıyor. Modülün son dersinde üç soru var. Sayılar ne? Reuter'in «on bire bir» iddiası bu sayılarla nasıl sınanır? Bu sayılar neyi söyleyemez?

HM00-M05-D01 bu soruya yaklaşık bir okumayla değinmişti. Burada aynı veriyi farklı grup büyüklükleriyle yeniden hesaplayacağız, çünkü kaynağın vermediği bir sayıya bağlı kalıyoruz: elli yanıtın gruplara dağılımı. Sonra Stolberg'in yanlılık uyarısını dikkatle okuyup sayıyla sınayacağız. Sonuç Reuter'in cümlesi için oldukça açık, küçük bir etki için belirsiz çıkacak.

Sıfır noktası

Bir sonucu değerlendirmek için iki ayrı soru sorulur. Sınanan iddia doğru olsaydı bu sonucu görme olasılığımız ne olurdu? Ayrıca bu sonuçla hangi büyüklükte etkiler uyumlu? Biri güçlü bir iddiayı çürütebilir, öteki küçük bir etkiyi dışlayamayabilir. Bu iki soru ayrı ayrı yanıtlanır.

İkinci temel ayrım: körleme neyi çözer? Körleme, bir kişinin aldığı şeye göre davranmasını engeller. Ama bir kişinin ne aldığından bağımsız belirli bir yanıta eğilimi varsa, körleme bunu ortadan kaldırmaz; yalnız iki gruba eşit yayar.

Bir de taban düzeyi: hiçbir şey yapılmasa da belirli bir oranda insan «olağandışı» bir şey bildirir. Karşılaştırma bu yüzden vardır. Su grubu burada bu işi görüyor.

Mekanizma

Sayılar

Tarihçinin raporu okuyarak yaptığı değerlendirme; [B].

Bir iddianın aktarımı; özgün metin okunmadı; [D].

Homeopatik iddia — C30 tuz, sağlıklı bir kişide de büyük olasılıkla olağandışı duyum doğurur; Nürnberg sonucu, homeopatiye karşı bir katılımcı kitlesinin bildirimlerine dayandığı için bu iddiayı geçerli biçimde çürütmez (Reuter'in iddiası ve Stolberg'in aktardığı olası itiraz).

Ham sayılar: 54 katılımcı, 50 yanıt, 4 yanıtsız. Sekiz olağandışı: 5 tuz, 3 su. Yani yanıtlayanların yüzde 16'sı.

Bir eksiğimiz var. 50 yanıtın kaçı tuz, kaçı su? Stolberg'in yazısında yok. Bu yüzden tek bir yüzde veremiyoruz, yalnız senaryolar kurabiliyoruz.

Reuter'in cümlesini sınamak

«On bire bir» olasılık olarak 10/11'dir, yaklaşık yüzde 91. Stolberg, Reuter haklı olsaydı farkın anlamlı olacağını yazıyor. Bunu sayıya dökelim. Hesaplar bizim. Senaryolar tuz grubundaki yanıtlayan sayısına göre.

• 25 tuz, 25 su: beklenen yaklaşık 23, gözlenen 5.
• 20 tuz, 30 su: beklenen yaklaşık 18, gözlenen 5.
• 30 tuz, 20 su: beklenen yaklaşık 27, gözlenen 5.

Olasılık tarafında, oran gerçekten yüzde 91 olsaydı 25 kişiden 5 ya da daha azının bildirmesi yaklaşık 5 × 10⁻¹⁷ olasılıktır. Başka senaryolarda da sayı benzer ölçüde küçük çıkıyor (20 kişide 2 × 10⁻¹²). Yani Reuter'in iddiası, sözcüğü sözcüğüne alınırsa, bildirilen veriyle bağdaşmıyor.

Şimdi Stolberg'in uyarısını da sayıyla sınayalım. Katılımcılar gizlemek istese ne olurdu? 25 kişilik tuz grubunda oran yüzde 91 ise yaklaşık 23 kişi bir şey hissetmiştir. Bildirilen 5. Demek ki hissedenlerin yaklaşık yüzde 78'inin susmuş olması gerekir. Bu mümkün mü? Bir topluluğun çoğunluğu homeopatiye karşı olabilir, ama bir duyum yaşayıp yalan söylemek ayrı bir davranıştır. Bu iki şeyi Stolberg'in yazısı ayırmıyor; biz de «olanaksız» demiyoruz. Boyutu görünsün yeter: uyarı yerindedir, ama Reuter'in güçlü iddiasını kurtarmak için çok büyük bir sessizlik gerekir.

Yalan gerektirmeyen bir yanlılık da düşünülebilir. Kuşkucu biri hafif bir duyumu fark etmeyebilir, «olağandışı» saymayabilir. Bu, yalan olmadan aynı yöne iter. «Olağandışı» sorusu bu yüzden zayıftır (HM05-M01-D02).

Küçük bir etki için ne diyor

Şimdi diğer soru: tuz suya göre hiç mi etkisizdi? Senaryolara göre oran farkı ve kaba yüzde 95 güven aralığı, hesap bizim:

• 25/25: yüzde 20 ile 12; fark 8 puan; aralık −12 ile +28.
• 20/30: yüzde 25 ile 10; fark 15 puan; aralık −7 ile +37.
• 30/20: yüzde 17 ile 15; fark 2 puan; aralık −19 ile +22.

Bu aralıkların hepsi sıfırı içeriyor. Fark şansla açıklanabilir. Fisher kesin testi 25/25'te yaklaşık p = 0,70 verir. Ama aralıklar yukarıda 20–35 puana kadar gidiyor. Yani bu veri, küçük ya da orta bir etkiyi dışlamaya yetmez. Bu bir savunma değil, örneklemin küçüklüğünün gösterimidir. Reuter'in «on bire bir»i çürür; «hiç etki yok» kanıtlanmaz.

Yanıt vermeyen dört kişi ve Löhner'in durumu da hesaba girebilir. İddiaya en elverişli durumu kuralım: dördü de tuz grubunda, hepsi bir şey hissetmiş ve bilen Löhner de sayılmış: 10/30 ile 3/25 (25/25 senaryosundan). Fark büyür, yine yüzde 91'e yaklaşmaz. Löhner'i saymamak doğru bir karardır, çünkü bilen birinin bildirimi körlemeyi bozar. Raporun bu kişiyi kayıtta göstermesi de dürüst bir ayrıntıdır.

Yanlılık uyarısının içi

Stolberg'in uyarısını daha yakından okuyalım. Katılımcılar «görünüşe göre» homeopatiye karşıydı. Bu sözcük önemli: tutum ölçülmemiş. Düzenleyicilerin farkındalığı da onun yorumudur: «seem to have been aware».

Mantığı doğru. Körleme, «ne aldıysam ona göre davranırım»ı engeller. «Ne alırsam alayım ‹yok› derim» eğilimini engellemez. Böyle bir eğilim grupları eşit biçimde sıfıra doğru çeker. Fark görülmez, ama bu farkın olmadığını göstermez. Herkes aşağıdaysa fark sıkışır.

Stolberg çözümü şöyle veriyor: katılımcılar ilke olarak maddenin bir etkisi olabileceğine inansaydı sorun aşılırdı. Bizim ekleyeceğimiz bir not var: inananlardan oluşan bir kitlenin de ters yönde eğilimi olabilir, herkes bir şey bildirir ve fark bu kez yukarıda sıkışır. O hâlde daha iyi seçenek, ölçüsü net bir sonuçtur.

Stolberg'in son vargısı tarihsel: raporun değeri öncelikle ilkelerinde. Düzenleyiciler homeopatları benzer denemeler yapmaya çağırdı. Kaynağımız bunun yapılıp yapılmadığını söylemiyor.

Neyi sınadı, neyi sınamadı

Bu deneme bir deneme-kanıtlama (proving) sınamasına benziyor (HM00-M02-D02): sağlıklı birinin duyumu. Hastalarda tedavi etkisini sınamıyor. Reuter hastalardaki etkilerin çok daha güçlü olduğunu söylemişti; deneme bu yan cümleye dokunmuyor. Ayrıca tek bir madde ve tek bir potens söz konusu. Bu tek olay, «homeopati işe yaramaz» diye okunamaz. «Reuter'in iddia ettiği güçlükte bir etki burada görülmedi» diye okunabilir.

Düzenleyicilerin daha ileri giden sözü kendi taraflarının sözüdür: homeopatların gözlemleri hayal, kendini kandırma, önyargı, hatta sahtekârlık ürünüdür. Bir deney bunu göstermez; bu, sonucun değil tutumun cümlesidir.

Örneklerden okuma

Usta katmanı

Kuvvetli bir iddia, kuvvetli biçimde çürütülebilir. Reuter sayısal bir şey söyledi: on bire bir. Bu, sınanabilir bir sav kurmak demektir ve tarihsel olarak takdir edilecek bir şeydir. Daha belirsiz bir söz («bazı kişiler bir şey hissedebilir») bu kadar kolay sınanamazdı, ama çok daha az da söylerdi. Bir savı değerlendirirken sayıya bağlanıp bağlanmadığına bakın.

İkinci ders: bir denemenin bir hipotezi çürütmesi, başka bir hipotezi doğrulaması demek değildir. Nürnberg, Reuter'in sayısını çürütür; «tuz seyreltisinin sıfır etkisi vardır» sonucunu doğrulamaz. Klinik meta-analizlerde de aynı ikilik var: güçlü bir etki dışlanabilir, küçük bir etki dışlanamayabilir. Sonra küçük etkinin gerçek mi, yanlılık mı olduğu sorusu başlar.

Üçüncü ders: bir yanlılık itirazına boyut verin. «Yanlılık olabilir» cümlesi her deneme için söylenebilir. Değerli soru şudur: sonucu değiştirmek için ne kadar yanlılık gerekir? Bu hesap itirazı ne çürütür ne de haklı kılar; tartışmayı somutlaştırır. Duyarlılık analizi de budur (HM04-M01-D05).

Modülün kapanışı: St. Petersburg'da karşılaştırma kolu ve plasebo fikri; Nürnberg'de kura, körleme ve sınırları.

Yaygın hatalar ve yanlış bilinenler

Sınır

Löhner'in raporu ve Reuter'in metni okunmadı; her şey Stolberg'den alındı. 50 yanıtın gruplara dağılımı kaynakta yok, bütün yüzde, olasılık, güven aralığı ve Fisher değerleri varsayımsal senaryolar üzerinden bizim hesabımızdır. Kaba aralıklar küçük örnekte yaklaşıktır. Taban ve tavan sıkışması, yalan ile fark etmeme ayrımı bizim yorumlarımızdır. Düzenleyicilerin homeopatlara çağrısının sonucu kaynakta yok. Kadıköy sahnesi kurgudur.

Bu sayılardan bugünkü bir ürün için sonuç çıkmaz; sağlık kararında uzman görüşünün yerini tutmaz.

Kendin dene

Kilit özet

54 katılımcıdan 50 yanıt alındı. Sekiz kişi olağandışı bir şey bildirdi: 5 tuz, 3 su. Yanıtların gruplara dağılımı kaynakta yok.

Reuter'in on bire biri yaklaşık yüzde 91'dir. 25 kişilik bir grupta yaklaşık 23 bildirim beklenir, 5 gözlendi; bu iddia veriyle bağdaşmaz.

Küçük bir etki dışlanamaz: 25/25 senaryosunda fark 8 puan, kaba aralık −12 ile +28.

Stolberg'e göre katılımcıların çoğu homeopatiye karşı göründüğünden kura ve körleme bu yanlılığı gideremezdi. Uyarı doğrudur; ama Reuter'in iddiasını kurtarmak için tuz grubunda hissedenlerin yaklaşık yüzde 78'inin bildirmemiş olması gerekir (hesap bizim).

Bir denemenin güçlü bir sayıyı çürütmesi, sıfır etkiyi kanıtlamaz. Bir yanlılık itirazına boyut vermek, onu somutlaştırır.

Sonraki derse köprü

İki erken deneme sağlıklı gönüllülere ve hastane koğuşlarına baktı. Homeopati denemesi kurmak isteyen biri ise önce şunu sormak zorunda: neyi sınıyorum? Yeni modül bireyselleştirilmiş, standart, karma ve izopatik homeopatiyi Kleijnen ve Mathie derlemelerindeki tanımlarla ayırıyor.