Nürnberg 1835: kura ve körleme (randomization, blinding)

Açılış sahnesi

İzmir, Tire. Salı pazarının kahvesi. İki zeytinyağcı yıllardır kavgalı: Fikret Usta «benim sıkım kokusundan bellidir» diyor, Cemal Usta «sen de ayırt edemezsin» diye gülüyor. Köylü ortaya bir teklif atıyor: sınayalım.

Kahveci Nesime Abla masaya geçiyor. «Şöyle yapacağız. Şurada kırk boş şişe. Hepsine sıra numarası yazıyoruz, herkes görüyor.»

Fikret Usta el kaldırıyor. «Numarayı sen yazarsan benim yağı sen bilirsin.»

«Bilmem. Şişeler henüz boş. İyice karıştıracağız, sonra ikiye böleceğiz. Hangi yirmi kimin, o zaman belli olacak.»

Cemal Usta soruyor: «Doldururken bilen olur ama?»

«Olur. Doldurana yazdıracağız, kâğıdı zarfa koyup mühürleyeceğiz. Doldurma odadan çıkınca bir daha konuşturmayız. Şişeleri başkası dağıtacak.»

«Tadıp söyleyen kim, kaç numarayı almış?»

«Onu da ikinci bir deftere yazarız. Herkes söyledikten sonra iki kâğıdı açarız. Önce söz, sonra zarf.»

Fikret Usta kollarını bağlıyor. «Hile yok diyorsun.»

Nesime Abla sayıyı yazmaya başlıyor. «Hile çok şey. Ben yalnız her adımda bir hileyi kapatıyorum. Hangisini kapattığımı da söylerim, kapatamadığımı da.»

Bu derste ne olacak

Önceki derste St. Petersburg'da hap gördük, ama kura görmedik (HM05-M01-D01). Beş yıl sonra bir Bavyera şehrinde bir meyhanede bu yöntemlere çok yaklaşan bir düzen kuruldu. Olayın hikâyesini ve bugünle bağını HM00-M05-D01'de okumuştuk: von Hoven, Reuter, Löhner, meyhane.

Burada düzeni parçalarına ayırıyoruz. Her adımı sırayla alıp soruyoruz: bu adım hangi yanlılığı önlemeye çalışıyor? Önlemeyi başarıyor mu? Hangi yanlılığa dokunmuyor? Bir de küçük bir hesap yapacağız: numaralı şişelerin dağıtımı gruplara nasıl yansır?

Sonucu ve Stolberg'in yanlılık uyarısını bu derste kapatmıyoruz. Onlar modülün son dersinde.

Sıfır noktası

Bir denemede yanlış sonuç en az dört yerden gelebilir. Grupların baştan farklı olmasından (seçim yanlılığı). Grubu seçen kişinin kimin nereye gideceğini önceden bilmesinden (atama gizliliğinin bozulması). Kişilerin ne aldığını bilerek farklı davranmasından (katılımcı ve bakım yanlılığı). Sonucu kaydedenin ne aldığını bilmesinden (saptama yanlılığı).

Bunlara karşı üç temel araç var. Kura, grupları şansa bırakır. Atama gizliliği, kimin nereye gittiğini atama anına kadar saklar. Körleme, atamadan sonra da saklamaya devam eder. Bu üç şey sık karıştırılır, oysa ayrıdır. Kura yapılabilir ama liste açıkta durabilir. Liste saklanabilir ama hap tadından belli olabilir.

İkinci bir fikir: bir önlem bir yanlılığı kapatır, başkasını kapatmaz. Bir düzen çok özenli olabilir ve yine de bir kapısı açık kalabilir.

Mekanizma

Kaynak

Tıp tarihçisinin 1835 raporuna dayanan yazısı; [B].

Homeopatik iddia — Reuter'e göre sağlıklı biri C30 tuz alırsa olağandışı duyum yaşaması on bire bir olasıdır; bu duyumlar hastalardaki çok daha güçlü etkilerin yanında hiçbir şey değildir (Stolberg'in aktarımı).

Bu iddiayı denemeye taşıyan koşul, Reuter'in hazırlığının izlenmiş olmasıdır: bir tane tuz yüz damlada, sonra 29 kez 1'e 100. Stolberg «tam Reuter'in istediği gibi» diyor. Yazıda çalkalamadan söz edilmiyor. Bu, yapılmadı demek değil; 1835'in tarifinde (HM04-M01-D06) iki vuruş söz konusuydu ve bu ayrıntı Stolberg'in özetine girmemiş olabilir. Bir homeopatın soracağı ilk soru bu olur. Löhner'in raporunu okumadık. Sorunun açık kaldığını yazalım.

Adım adım

Her adımın karşısına hedefini yazalım. Eşleme bizim okumamız.

Önceden ilan ve en az 50 kişi. Hedef: sonradan kural değiştirmeyi önlemek. Deneme sonucu görülmeden sayı ve düzen ilan edilir. Bugünkü protokol kaydının atası gibi. Düzenleyiciler büyük olasılıkla homeopatiye karşı bir çevredendi (Stolberg'in aktarımı). Önceden ilan, onları da bağlıyordu.

Herkesin önünde numaralama. Hedef: içeriği koda çevirmek. Şişeler boşken numara yazılır. Numara yazan içeriği bilemez, çünkü henüz içerik yoktur. Bu basit sıralama akıllıcadır: önce kod, sonra içerik. Kahveci Nesime'nin yanıtı buydu.

Karıştırma ve ikiye bölme. Hedef: kura. Hangi numaranın hangi kümeye gideceğini kimsenin seçmemesi. Herkesin önünde yapılması, sahtekârlık kuşkusuna da karşı önlemdir. Stolberg «görünüşe göre kusursuz» diyor. Dikkat, «görünüşe göre». Elle karıştırmanın ne kadar iyi karıştırdığını ölçemeyiz. Yine de düzenli bir seçim yapmak için güçlü bir engel.

Eczacıların özeni. Hedef: kirlilik itirazını önlemek. Banyo ve yeni terazi gülünç görünebilir. Ama klasik ilaçla bulaşma homeopatların yapabileceği bir itirazdı; düzenleyiciler onu baştan kapatıyor. Rakibin itirazını önceden düşünmek iyi tasarımın parçasıdır.

Mühürlü liste. Hedef: atama gizliliği. Anahtar var ama kapalı. Bu adım, sonuç gelmeden kimsenin numaradan içerik okuyamamasını sağlar.

Komisyonun dağıtması. Hedef: dolduran ile dağıtanı ayırmak. Dolduranların içeriği bilmesi kaçınılmazdı. Dağıtanın bilmemesi, kime neyin verileceğinin etkilenmemesini sağlar. Stolberg'e göre düzenleyen, dağıtan ve kaydedenler bilmiyordu. Eczacılar açısından yazı bir şey söylemiyor; dolduran iki kişinin içeriği bildiği açık, listenin onlarda kalmadığını metin dolaylı anlatıyor. Bu bir açıktır, ama küçük: şişeyi kimin aldığını bilmiyorlardı. Burada da yorum bize ait.

İkinci liste. Hedef: kişi ile numarayı bağlamak. İki liste ayrı tutulunca hiç kimse tek başına «bu kişi tuz aldı» diyemez.

Üç hafta sonra bildirim, sonra açma. Hedef: saptama yanlılığını önlemek. Söz önce, anahtar sonra. Bu ilke bugün de geçerli.

Düzensizliklerin yazılması. Hedef: sonradan temizlenmiş rapordan kaçınmak. Yedi geç şişe, dört yanıt vermeyen, numarasız bir şişe. Bir raporun değeri, yolunda gitmeyeni de söylemesinden gelir.

Kısa bir hesap

100 şişenin yalnız 54'ü dağıtıldı. Elli tuz, elli su olduğuna göre gruplar eşit başlıyor; ama 54 şişe çekilince gruplar eşit kalmak zorunda değil. Şişeler rastgele dağıtılırsa alınan tuz şişesi sayısının beklenen değeri 27, standart sapması yaklaşık 2,5'tir (hipergeometrik hesap, bizim). Yani grupların 22–32 ile 32–22 arasında bölünmesi şaşırtıcı olmaz. Stolberg'in yazısı gerçek bölünmeyi vermiyor. HM00-M05-D01'de yaklaşık bir hesap için «kabaca eşit» varsaymıştık; bu çarpım o varsayımın makul olduğunu gösteriyor, ama kesin sayı değildir.

Bu hesap kuranın ne yaptığını da gösterir. Kura grupları tam eşit yapmaz; farkı şansa bırakır ve bu farkın büyüklüğü hesaplanabilir. Küçük gruplarda bu fark daha büyük görünür.

Bir de sayıların tutarlılığı. 47 + 7 = 54 tutuyor. Stolberg raporun 48 şişeden söz ettiğini, bunun bir hekime verilen numarasız bir tuz şişesini de saydığını not ediyor. Yazıda bir yerde hekim «Lochner», başka bir yerde «Dr Löhner» geçiyor; gazete sahibi Löhner ise «tıp eğitimi olmayan» biri diye anlatılıyor. Aynı kişi mi, bir yazım farkı mı, yazıdan çözemiyoruz.

Bu düzenin yapamadıkları

Şimdi kapanmayan kapılar. İlki gönüllülük. 120'den fazla kişi geldi, 54'ü katıldı; yaklaşık yarısı (hesap bizim). Kim gönüllü oldu, neden? Kura gruplar arasındaki farkı dağıtır, ama deneyin genellenebileceği kişileri seçemez. Bu kişiler bir meyhane toplantısının gönüllüleriydi, hasta seçilmiş kişiler değil.

İkincisi ölçüt. «Olağandışı bir şey yaşadınız mı?» çok geniş bir sorudur. Bugün buna birincil sonuç tanımı zayıf denir. Üç haftada herkesin başına «olağandışı» bir şey gelebilir. Çözüm, karşılaştırmadır; deneme bunu yapıyor. Ama kişinin neyi olağandışı saydığını kimse denetleyemez.

Üçüncüsü gözetim dışındaki süreç. Şişelerin ne zaman, nasıl içildiğinin kaydedildiğini yazı söylemiyor. İnsanların birbiriyle konuşması da engellenemez (değerlendirme bizim).

Dördüncüsü ve en önemlisi, katılımcıların ne aldıklarından bağımsız tutumu. Körleme bunu çözmez; sonraki dersin konusu.

Bugünden bakış

Tıp tarihçisinin karşılaştırması; [B].

Bu liste bir kontrol listesi kadar tanıdık geliyor ve Stolberg'in yazısı da bunu vurguluyor. Yine de «ilk randomize çift kör deneme» cümlesine dikkat. Stolberg başlığında «icat» sözünü kullanıyor, gövdede «çok erken bir örnek» diyor. Dean ilkel bir kura biçiminden söz ediyor. Kavramların bu olayda bugünkü anlamıyla tam var olduğunu söylemek geriye doğru bir okumadır. Stolberg'in aktardığı «punctum saliens» bu: katılımcıların ve yürütenlerin neyi aldığını tahmin edebileceği her şey önlenmelidir.

Bir de sahiplik. Bu yöntemi kim geliştirdi? Burada düzenleyenler homeopati karşıtıydı; ama plasebo fikri (HM05-M01-D01) homeopatik pratikten geliyordu ve Stolberg, bu yöntemlerin birçoğunun yerleşik tıp ile yeni tıp arasındaki tartışmalarda doğduğunu yazıyor. Düzenleyiciler de raporda homeopatları benzer denemeler yapmaya çağırıyor.

Örneklerden okuma

Usta katmanı

Bir deneme raporu okurken adımları liste gibi sayıp işaretlemek kolaydır: kura var, kör var. Daha iyi soru şudur: bu adım burada hangi hatayı önlüyor ve hangisini önlemiyor? Nürnberg düzeni bu soruyla okununca iki şey görünür. Düzenleyicilerin kendi önyargılarına karşı bile önlem aldığı, çünkü her adımı herkesin önünde yaptıkları. Ve yine de katılımcı tutumunu bu önlemlerin hiçbirinin çözmediği.

Düzenleyicilerin kendilerini bağlamasının değeri bugün de geçerli. Bir deneyin rakipleri deneyi kuruyorsa ve yine de önceden açıkladıkları kurala uyuyorsa, sonuç bu yüzden güçlenir; ama yeterince güçlenmez. Bağımsız bir düzenleyici ya da karşıt iş birliği (HM04-M04-D04) daha iyisidir. Reuter'in, iddiası sınandığı hâlde tasarımda bir yeri olup olmadığı yazıda yok. Benveniste'in Jonas ekibinde masada olması bununla karşılaştırılabilir.

Son olarak bir tarih okuma uyarısı. Bir yöntemi geçmişte bulmak heyecan vericidir, ama onu bir sonuca bağlamak için kanıt gerekir. Nürnberg raporunun sonraki denemeleri nasıl etkilediğini Stolberg'in bu yazısı anlatmıyor. Bir etki zinciri kurmak yerine «erken bir örnek» demek yetiyor.

Yaygın hatalar ve yanlış bilinenler

Sınır

Löhner'in 1835 raporu okunmadı, her şey Stolberg'in yazısından alındı. Çalkalamanın yapılıp yapılmadığı, şişelerin tam dağılımı, karıştırma yöntemi ve eczacıların sonrasında ne yaptığı bu yazıda yok. Lochner ile Löhner yazım farkı çözülmedi. Adım-hedef eşlemesi, hipergeometrik hesap ve yüzdeler bizimdir; hipergeometrik hesap 54 şişenin 100'den rastgele çekildiğini varsayar, geç dağıtılan yedi şişe bu varsayımı zorlayabilir. Tuz seyreltisi burada yalnız tarihsel bir deney nesnesidir. Tire sahnesi kurgudur.

Deneme tasarımı öğrenmek, tek tek ürünler hakkında bir karar vermeye yetmez; bu bilgi hekim görüşünün yerini tutmaz.

Kendin dene

Kilit özet

Nürnberg 1835'te şişeler boşken herkesin önünde numaralandı, karıştırıldı ve ikiye bölündü; biri kar suyu, öteki C30 tuz seyreltisi ile dolduruldu. Liste mühürlendi, bir komisyon dağıttı, adlar ikinci bir listeye yazıldı, bildirimler alındıktan sonra listeler açıldı.

Her adımın hedefi vardı: önceden ilan kural değişikliğine, numaralama ve bölme atama seçimine, mühür atama bilgisine, komisyon dağıtıcı etkisine, sonradan açma saptama yanlılığına karşı.

Kura grupları eşitlemez, farkı şansa bırakır: 54 şişede tuz sayısı 27 çevresinde, standart sapma yaklaşık 2,5.

Açık kapılar: gönüllülük, «olağandışı bir şey» gibi geniş bir soru, gözetim dışı süreç ve katılımcı tutumu. Yazıda çalkalamadan söz edilmez.

Stolberg'in sözüyle bu «çok erken bir örnek»tir; bugünkü yöntemin tam karşılığı değil.

Sonraki derse köprü

Zarflar açıldı. Sıradaki derste elli dört katılımcıdan gelen elli yanıtı ve olağandışı belirti bildiren sekiz kişinin dağılımını okuyor, Stolberg'in katılımcı tutumu üzerinden yaptığı uyarıya bakıyoruz.