Karşı Olgusal Sonuç

Açılış sahnesi

Eskişehir'de müzik aletleri satan bir mağaza, eylülde okullar açılmadan önce üç hafta boyunca yerel radyoda reklam verdi. Eylül kapandığında gitar ve klavye satışları geçen eylülün epey üstünde. Mağazanın ortağı, radyo reklamının gerçekten ne kazandırdığını öğrenmek için üç çalışanına aynı soruyu soruyor: radyo olmasaydı eylülde kaç alet satardık?

Satış sorumlusu, reklamsız bir eylül hayal ediyor ve geçen yılın rakamından biraz fazlasını söylüyor. Sosyal medyayı yöneten çalışan, radyoya giden paranın çevrimiçi reklamlara harcandığı bir eylül hayal ediyor ve gerçekleşen rakama yakın bir sayı söylüyor. Muhasebeci ise geçen yıl dağıtılan broşürlerin bu yıl da dağıtıldığı bir eylülü düşünüyor ve ikisinin arasında bir sayı veriyor.

Ortak üç sayıyı tahtaya yazıyor ve bir süre bakıyor. Üç çalışan aynı soruya cevap vermemişti; her biri «olmasaydı» kelimesini başka bir eylülle doldurmuştu. Hangisinin doğru olduğunu tartışmadan önce, hangi eylülü sorduklarına karar vermeleri gerekiyordu.

Bu derste ne olacak

Eskişehir'deki mağaza da bu derste anılan öteki dükkânlar, şirketler ve zincirler de uydurmadır. Geçen oranlar ve yüzdeler hiçbir işletmenin kaydından alınmadı; akıl yürütmeyi somutlaştırmak için kuruldu.

Önceki ders, birlikte hareket eden iki çizginin arkasındaki adayları bir listede topladı ve bazı satırların veriyle kapanmadığını gösterdi. Bu ders, kapanmayan satırların ortak kökünü konu ediyor: müdahalenin olmadığı dünya hiçbir zaman gözlenmiyor. Önce her müşterinin, her şubenin, her haftanın iki ayrı sonucu olduğunu ve yalnızca birinin görülebildiğini kuracağız. Sonra «olmasaydı» kelimesinin tek başına bir soru olmadığını, hangi alternatifin kastedildiğinin açıkça yazılması gerektiğini konuşacağız. Ardından ölçülmek istenen etkinin kimin için ve hangi dönem için olduğunu belirleyeceğiz. Son olarak bütün ölçüm yöntemlerinin görünmeyen dünyayı dört kaynaktan birinden kurduğunu ve her kaynağın neyi varsaydığını göreceğiz.

Sıfır noktası

Reklam alanının artımsallık dersinde karşı olgusal durumu, reklamı gören kişilerin onu görmedikleri bir dünyada sergileyeceği davranış diye tanımlamış; taban talebi de reklamsız gelecek satış olarak ayırmıştık. Deney kursunda kontrollü deneyi ve önce-sonra karşılaştırmasını, ürün alanının fiyat deneylerinde de karşılaştırma grubunu görmüştük. Önceki derste ortak eğilimi, ortalamaya dönüşü ve çakışan müdahaleyi rakip açıklama listesine yazdık.

Reklam alanı karşı olgusal durumu bir reklam raporunu düzeltmek için kullanıyordu. Bu ders onu bütün ölçüm yöntemlerinin ortak sorusu olarak ele alıyor. Bir deney, bir bölge karşılaştırması, bir tahmin modeli ya da geçen yılın aynı haftası; hepsi aynı görünmeyen çizgiyi tahmin etmenin ayrı yollarıdır. Hangi yolun ne zaman güvenilir olduğunu anlamak, önce çizginin kendisini doğru tanımlamaktan geçer.

Mekanizma — iki sonuç, tek gözlem

Bir müdahalenin etkisini düşünmenin en temiz yolu, her birimi iki ayrı dünyada hayal etmektir. Bir aile radyo reklamını duyduğu dünyada bir gitar alır ya da almaz; duymadığı dünyada da alır ya da almaz. Reklamın o aile üzerindeki etkisi, bu iki dünya arasındaki farktır.

Bu eksikliği tek tek müşterilerle kapatmaya çalışmak, satış görevlilerini hikâye anlatmaya iter.

Bireysel etki görülmediği için, ölçümün birimi her zaman bir gruptur ve sorulan soru her zaman bir ortalamadır.

Mekanizma — «olmasaydı» neyin yerine?

Açılıştaki üç çalışan aynı soruya üç farklı cevap verdi, çünkü her biri müdahalenin yerine başka bir şey koydu. Bir müdahalenin olmadığı dünya boş bir dünya değildir; o dünyada para, zaman ve dikkat başka bir şeye harcanır.

Karşıt senaryo yazılmadığında, bir müdahale hiçbir şey yapmamaya göre ölçülür ve gerçek kararda hiç bulunmayan bir seçenekle kıyaslanmış olur.

Para başka bir yere gidecekse, karşıt senaryonun içinde o yerin getirisi de vardır.

Mekanizma — etki kimin için, hangi dönem için?

Karşıt senaryo yazıldıktan sonra ikinci bir karar kalır: ölçülen etki hangi birimlerin ortalaması olacak ve hangi süre içinde okunacak? Aynı kampanyanın etkisi, bütün müşteriler için, kampanyaya gerçekten maruz kalanlar için ve bir sonraki birim harcama için üç ayrı sayıdır.

Bütçe kararlarında en çok ihtiyaç duyulan etki, ortalama etki değil, sınırdaki etkidir.

Zaman penceresi de tahmin edilecek etkinin bir parçasıdır; kısa pencere, ileriden çekilmiş talebi kazanç gibi gösterebilir.

Mekanizma — görünmeyen çizgi dört yerden kurulur

Karşı olgusal sonuç gözlenemediğine göre, her ölçüm onu bir yerden ödünç alır. Kullanılan yöntemlerin adları çok çeşitlidir, ama ödünç alınan yer sınırlıdır.

İkinci kaynak, aynı dönemde müdahaleyi almayan birimlerdir. Zaman değişmediği için mevsim sorunu ortadan kalkar, ama birimler arasındaki fark içeri girer.

Üçüncü kaynak bir tahmindir: geçmiş veriden kurulan bir model, müdahale olmasaydı satışın ne olacağını söyler.

Dördüncü kaynak en az varsayım isteyendir: müdahaleyi kimin alacağına bir zar karar verirse, almayanlar alanların müdahalesiz hâlini ortalamada temsil eder.

Usta katmanı — yer değiştirebilirlik

Dört kaynağın her biri, aynı koşulu farklı bir yerde arar: ödünç alınan sonuç, müdahaleyi alan birimlerin müdahalesiz hâlini gerçekten temsil ediyor mu?

Önceki dönemde birlikte hareket, yer değiştirebilirliği kanıtlamaz, ama yokluğu ciddi bir uyarıdır.

Yaygın hatalar

Aklında kalsın

Her birimin iki potansiyel sonucu vardır: müdahaleyi aldığı dünyadaki sonuç ve almadığı dünyadaki sonuç. Yalnızca biri gözlenir; bu yüzden tek bir müşteri için etki ölçülemez, birçok birim üzerinden ortalama bir etki tahmin edilir.

Karşıt senaryo, müdahalenin yerine konan alternatiftir ve açıkça yazılır. Aynı müdahalenin etkisi karşıt senaryo değiştikçe değişir; karar hangi seçenekler arasında veriliyorsa karşıt senaryo da o seçenektir.

Tahmin edilecek etki, ölçümden önce yazılan tanımdır: kimin için, hangi karşıt senaryoya göre, hangi ölçütle ve hangi zaman penceresinde. Bütçe kararları çoğu zaman ortalama etkiyi değil, sınırdaki etkiyi ister; kısa pencere de ileriden çekilen talebi kazanç gibi gösterebilir.

Bütün ölçüm yöntemleri görünmeyen çizgiyi dört kaynaktan birinden kurar: aynı birimlerin geçmişi, aynı dönemde müdahale almayan birimler, bir tahmin modeli ya da rastgele ayrılmış bir grup. Her kaynak yer değiştirebilirliğe dayanır. Rastgele dağıtım bu koşulu tasarım gereği sağlar; öbür kaynaklarda koşul varsayılır ve müdahaleden önceki dönemle kısmen sınanır.

Sonraki derse köprü

Kırtasiye zincirinin karşılaştırma ilçeleri, kampanya ilçelerinin yerine geçemiyordu ve bunun nedeni rastlantı değildi: kampanya, satışın zaten hızlı arttığı ilçelere yapılmıştı. Optik zincirinde de tarama günlerini yapan şubeler, müdürleri gönüllü olduğu için seçilmişti. İki durumda da müdahaleyi kimin alacağına karar veren kural, sonucu etkileyen bir şeyle bağlantılıydı.

Sıradaki ders bu bağlantıyı inceliyor. Kampanyayı görenlerin, onu görmeden önce de farklı olmasından doğan yanlılığın hangi yollardan içeri girdiğini ve bu yolları bir ölçüm planında nasıl tanıyacağımızı orada çalışacağız.