Birlikte Hareket Etmek Neden Etki Değildir

Açılış sahnesi

Konya'da çocuk ayakkabısı üreten bir atölyenin çevrimiçi mağazası, mart ayını şubatın neredeyse iki katı satışla kapatıyor. Pazarlama sorumlusu sonucu yönetim toplantısına tek bir grafikle getiriyor: mart başında çocuklu ailelerin takip ettiği üç içerik üreticisiyle bir iş birliği başlamış, iş birliğinin başladığı hafta satış çizgisi yukarı kıvrılmış. Sorumlu, iş birliğinin bütçesinin nisan için ikiye katlanmasını istiyor.

Atölyenin kurucusu grafiği uzun uzun inceliyor ve sorularını sırayla soruyor. Bu yıl Ramazan Bayramı nisan başına denk gelmiyor muydu; bayramlık ayakkabı alışverişi mart ortasında başlamamış mıydı? Şubat, kargo firmasındaki aksaklık yüzünden yılın en kötü ayı olmamış mıydı? Mağaza, iş birliğiyle aynı hafta bütün ürünlerde kargoyu ücretsiz yapmamış mıydı? Bir de son soru geliyor: iş birliğinin bütçesi ilk hafta satışlar iyi gidince artırılmamış mıydı?

Sorumlu her soruya evet diyor. Grafik yanlış değil; çizgi gerçekten yukarı kıvrılmış. Ama kurucunun dört sorusu, o kıvrımı açıklayabilecek dört ayrı aday ortaya koymuş ve iş birliği bunlardan yalnızca biri.

Bu derste ne olacak

Konyalı ayakkabı atölyesi ve dersteki öbür işletmeler kurgudur. Bazı vakalarda yüzdeler ve oranlar kullanıyorum; bunlar gerçek bir işletmenin verisi değil, düşünme biçimini göstermek için seçildi.

Bu kurs, ölçüm akademisinde başlattığımız nedensellik sorusunu bir uzmanlık alanına dönüştürüyor. İlk ders, en sık karşılaşılan durumdan başlıyor: iki çizgi birlikte hareket ediyor ve biri ötekinin nedeni sanılıyor. Önce birlikte hareketin arkasında durabilecek bütün adayları bir listede toplamayı göreceğiz. Sonra zaman içinde birlikte büyüyen iki serinin, aralarında hiçbir bağ yokken nasıl güçlü bir ilişki gösterdiğini inceleyeceğiz. Ardından en kötü dönemden sonra gelen toparlanmanın neden çoğu zaman müdahaleye yazıldığını, aynı haftaya sıkışan birkaç değişikliğin de neden birbirinden ayrılamadığını konuşacağız. Son olarak zaman sırasını ve dozu okuyarak bu adayların bir kısmını ucuz yoldan elemeyi öğreneceğiz.

Sıfır noktası

Ölçüm akademisinin atıf ve nedensellik kursunda ters nedenselliği, talebin artmasının harcamayı artırdığı durum olarak; hedefleme seçilimini de reklamın zaten alacak kişilere gitmesinden doğan şişkinlik olarak tanımlamıştık. Araştırma alanında karıştırıcı değişkeni, iki değişkeni birden etkileyen ve aralarında bir bağ varmış gibi gösteren üçüncü değişken olarak ayırmıştık. Reklam alanında karşı olgusal durumu, aynı insanların aynı dönemde müdahaleyle hiç karşılaşmasalar ne yapacakları olarak kurmuştuk. Deney kursunda da önce-sonra karşılaştırmasının neden zayıf bir kanıt olduğunu görmüştük.

O kurslar bu kavramları tek tek tanıttı. Bu ders onları bir teşhis düzeninde birleştiriyor. Bir yöneticinin önüne bir grafik geldiğinde, hangi soruların hangi sırayla sorulacağını ve hangi adayın hangi kontrolle eleneceğini kuruyoruz. Amaç kuşkuyu sonsuza kadar sürdürmek değil; hangi açıklamaların hâlâ ayakta olduğunu bilerek karar vermek.

Mekanizma — birlikte harekete aday listesi

Bir çizgi yükseldiğinde ilk akla gelen açıklama, o sırada yapılan en görünür iştir. Ekip bir kampanya başlatmıştır, çizgi de yükselmiştir; zihin ikisini hemen birbirine bağlar. Bu bağın doğru olup olmadığını sınamanın ilk adımı, öbür adayları kâğıda dökmektir.

Listenin en sık dolan satırı, iki çizgiyi birden süren takvimdir. Pazarlama kararlarının çoğu talebin yükseleceği dönemlere göre alındığı için, harcama ile satış takvim yüzünden birlikte hareket eder.

Üçüncü etken her zaman takvim olmaz; bazen müşterinin kendisi, zaten satın almaya yakın olduğu için hem pazarlama temasını arar hem de satın alır.

Tesadüf satırı en kolay unutulan satırdır. Yeterince çok seriye bakan biri, aralarında hiçbir bağ olmayan iki serinin bir süre birlikte hareket ettiğini mutlaka görür.

Mekanizma — birlikte büyüyen her şey birbirine bağlı görünür

Zaman içinde düzenli büyüyen bir işletmede neredeyse her gösterge yukarı doğru gider: takipçi sayısı, e-posta listesi, sitedeki sayfa sayısı, çalışan sayısı, satış. Bu göstergelerin herhangi ikisini aynı grafiğe koyan biri, aralarında çok güçlü bir ilişki görür.

Aynı tuzak zaman ekseninde değil, birimler arasında da kurulur. Büyük şubeler, büyük bölgeler, büyük müşteriler hemen her göstergede öndedir; büyüklük de ortak bir akım gibi davranır.

Ortak eğilimi temizlemek, ilişkinin tamamen yok olduğunu kanıtlamaz; yalnızca büyümenin kendisinin bir kanıt sayılmasını önler. Değişimler arasında da ilişki kalıyorsa, liste bir sonraki satıra geçer.

Mekanizma — en kötü dönemden sonra gelen toparlanma

Pazarlama ekipleri çoğu zaman işler kötü gittiğinde harekete geçer: en kötü şubeye destek gönderilir, en düşük açılma oranına sahip listeye yeni bir başlık denenir, en zayıf haftadan sonra bir kampanya başlatılır. Bir sonraki dönem işler genellikle düzelir ve düzelme yapılan işe yazılır.

Ortalamaya dönüş, en uç haftadan sonra başlatılan kampanyalarda da aynı biçimde çalışır.

Bu tuzağın en sinsi biçimi, hedef grubun tek bir uç ölçümle seçilmesidir.

Mekanizma — aynı haftaya sıkışan değişiklikler

Bir işletme bir kampanyaya hazırlanırken genellikle birkaç şeyi birden değiştirir: yeni bir ambalaj, yeni bir fiyat, yeni bir reklam, yeni bir sayfa. Hepsi aynı haftada devreye girdiğinde, sonuç hepsinin toplamıdır ve verinin içinden hangisinin ne kadar katkı verdiği çıkarılamaz.

Çakışan müdahale bazen işletmenin dışından gelir ve kimse onu takvime yazmadığı için hiç fark edilmez.

İki değişiklik kaçınılmaz olarak aynı güne denk geliyorsa, en azından bir yerde birini öbüründen ayırmanın yolu aranır.

Usta katmanı — zaman sırası, doz ve görünmeyen etki

Rakip açıklama listesi uzun görünür, ama satırların bir kısmı veriye birkaç dakika daha bakarak elenebilir. En güçlü ucuz kontrol, iki çizginin hangisinin önce hareket ettiğine bakmaktır.

İkinci ucuz kontrol dozdur: daha fazla müdahale gören yerde etki de daha büyük mü? Bu soru güçlüdür, ama doz rastgele dağıtılmamışsa aynı tuzağa geri götürür.

Birlikte hareketin tersi de yanıltır. İki çizgi birlikte hareket etmiyorsa bu, müdahalenin işe yaramadığını göstermez; düşen bir piyasada bir müdahale yalnızca düşüşü yavaşlatıyor olabilir.

Listeyi dolduran ekip sonunda bir ayrıma varır: bazı satırlar veriyle elenir, bazıları ise ancak karşılaştırma için özel olarak kurulmuş bir düzenle elenebilir.

Yaygın hatalar

Aklında kalsın

İki çizginin birlikte hareket etmesi, aralarında bir ilişki olduğunu gösterir; ilişkinin yönünü ve nedenini göstermez. Rakip açıklama listesi, müdahalenin etkisini ters yönlü etkiyle, üçüncü bir etkenle, ortak eğilimle, uç dönemden sonraki toparlanmayla, çakışan bir değişiklikle ve tesadüfle birlikte alt alta yazar ve her biri için kanıtı not eder.

Ortak eğilim, zamanla birlikte büyüyen iki serinin aralarında bağ olmadan yüksek bir ilişki göstermesidir; düzeylere değil değişimlere ve birim başına değerlere bakarak sınanır. Ortalamaya dönüş, en uç dönemde ya da en uç birimde yapılan müdahaleden sonraki kendiliğinden düzelmedir; hiçbir şey yapılmayan benzer uç birimlerle karşılaştırılarak ayrılır.

Çakışan müdahale, aynı döneme düşen başka bir değişikliktir; değişiklikleri farklı tarihlere ya da bölgelere yaymak onu baştan önler. Zaman sırası sınaması, sonuçtan sonra gelen bir nedeni eler; doz kontrolü ancak doz rastgele dağıtıldığında güvenilirdir. Birlikte hareketin yokluğu da etkinin yokluğu demek değildir.

Liste her açıklamayı kapatmaz. Veriyle kapanmayan satırlar için kanıtı sonradan aramak yerine, karşılaştırmayı baştan kurmak gerekir.

Sonraki derse köprü

Konyalı atölyenin listesinde iki satır açık kaldı ve ikisi de aynı eksikliğe dayanıyordu: iş birliği olmasaydı mart ayında ne kadar ayakkabı satılacağını kimse görmemişti. Bayramlık talebi, ücretsiz kargo ve şubattan sonraki toparlanma o görünmeyen çizginin içindeydi; iş birliğinin etkisi de ancak o çizgiyle gerçekleşen çizgi arasındaki fark olabilirdi.

Sıradaki ders o görünmeyen çizgiyi konu ediyor. Gözlenemeyen «olmasaydı» durumunun nasıl tahmin edildiğini ve deneyden önce-sonra karşılaştırmasına kadar her ölçüm yönteminin aslında bu çizgiyi kurmanın ayrı bir yolu olduğunu orada çalışacağız.